[论文解读] Depthwise Spatio-Temporal STFT Convolutional Neural Networks for Human Action Recognition

Sudhakar Kumawat, Manisha Verma+2 more|arXiv (Cornell University)|Jul 22, 2020

Human Pose and Action Recognition参考文献 75被引用 56

一句话总结

本文提出时空短时傅里叶变换（STFT）模块作为3D卷积层在3D卷积神经网络中用于人体动作识别的参数高效替代方案。通过使用不可学习的STFT核在空间和时间维度上提取局部傅里叶特征，随后使用可学习的线性权重进行通道相关性建模，该方法在保持或超越SOTA性能的同时，将参数量减少3.5–4.5倍，计算量减少1.5–1.8倍，在包括Kinetics-400和Jester在内的七个基准数据集上实现了最先进或更优的准确率。

ABSTRACT

Conventional 3D convolutional neural networks (CNNs) are computationally expensive, memory intensive, prone to overfitting, and most importantly, there is a need to improve their feature learning capabilities. To address these issues, we propose spatio-temporal short term Fourier transform (STFT) blocks, a new class of convolutional blocks that can serve as an alternative to the 3D convolutional layer and its variants in 3D CNNs. An STFT block consists of non-trainable convolution layers that capture spatially and/or temporally local Fourier information using a STFT kernel at multiple low frequency points, followed by a set of trainable linear weights for learning channel correlations. The STFT blocks significantly reduce the space-time complexity in 3D CNNs. In general, they use 3.5 to 4.5 times less parameters and 1.5 to 1.8 times less computational costs when compared to the state-of-the-art methods. Furthermore, their feature learning capabilities are significantly better than the conventional 3D convolutional layer and its variants. Our extensive evaluation on seven action recognition datasets, including Something-something v1 and v2, Jester, Diving-48, Kinetics-400, UCF 101, and HMDB 51, demonstrate that STFT blocks based 3D CNNs achieve on par or even better performance compared to the state-of-the-art methods.

研究动机与目标

• 解决3D卷积神经网络在视频动作识别中计算成本高、内存占用大及过拟合的问题。
• 通过用新型基于STFT的模块架构替代传统3D卷积，提升3D卷积神经网络的特征学习能力。
• 设计一种参数与计算效率更高的架构，在多个动作识别数据集上保持或超越当前最先进性能。
• 探索在视频建模中不同时空维度下基于STFT的特征提取的有效性。

提出的方法

• 提出三种STFT模块变体：ST-STFT（3D STFT）、S-STFT（2D空间STFT + 深度可分离时间）和T-STFT（深度可分离空间 + 1D时间STFT）。
• 使用不可学习的STFT核在时空体积的多个低频点提取局部傅里叶系数。
• 使用深度可分离3D卷积处理STFT输出，实现在空间和时间维度上的高效计算。
• 在STFT层后引入可学习的线性权重，以建模通道间相关性并增强特征表示。
• 将STFT模块集成到瓶颈架构中，替代ResNet风格网络中的标准3D卷积。
• 在Kinetics-400等大规模数据集上从头开始训练模型，避免依赖ImageNet预训练以评估泛化能力。

实验结果

研究问题

• RQ1 基于STFT的模块是否能在不损失性能的前提下，减少3D卷积神经网络中的参数量和FLOPs？
• RQ2 STFT模块在学习时空特征方面与传统3D卷积及分解变体（如R(2+1)D、S3D）相比表现如何？
• RQ3 使用不可学习的STFT核是否相比可学习的3D卷积能提升特征表示能力？
• RQ4 基于STFT的模型在不同复杂度与规模的数据集（如Jester、Kinetics-400和UCF-101）上的性能如何扩展？
• RQ5 当在Kinetics等大规模数据集上预训练后，基于STFT的模型是否能在小规模数据集上实现良好泛化？

主要发现

• T-STFT变体在Jester数据集上达到96.94%的准确率，优于SOTA的STM模型0.24%，同时FLOPs减少1.6倍，参数量减少4.1倍。
• 在Kinetics-400上，T-STFT模型达到61.1%的top-1准确率，优于R(2+1)D-ResNet18基线模型（56.8%），尽管参数量减少了5.2倍。
• ST-STFT模块在Kinetics-400上达到39.4%的top-1准确率，展现出极低参数量下的强劲性能。
• 在UCF-101和HMDB-51上，Kinetics预训练的STFT模型分别达到94.7%和71.5%的准确率，与ImageNet+Kinetics预训练的SOTA模型相当。
• 由于参数量显著减少（比SOTA少3–5倍），STFT模型表现出更强的抗过拟合能力，即使从头开始训练也表现稳定。
• 该方法在多种数据集上均实现一致的性能提升，包括Jester等时间挑战性数据集以及Kinetics-400等大规模场景数据集。