[论文解读] ACTION-Net: Multipath Excitation for Action Recognition

Zhengwei Wang, Qi She+1 more|arXiv (Cornell University)|Mar 11, 2021

Human Pose and Action Recognition参考文献 46被引用 11

一句话总结

ACTION-Net 提出了一种轻量级、即插即用的多路径激励模块（ACTION），通过联合建模时空、通道和运动特征，增强了2D CNN在视频动作识别中的性能。通过集成三条并行的激励路径——时空激励（Spatio-Temporal Excitation）、通道激励（Channel Excitation）和运动激励（Motion Excitation），该方法在Something-Something V2、Jester和EgoGesture数据集上实现了最先进（SOTA）的准确率，且计算开销极低，始终优于TSM和2D CNN基线模型。

ABSTRACT

Spatial-temporal, channel-wise, and motion patterns are three complementary and crucial types of information for video action recognition. Conventional 2D CNNs are computationally cheap but cannot catch temporal relationships; 3D CNNs can achieve good performance but are computationally intensive. In this work, we tackle this dilemma by designing a generic and effective module that can be embedded into 2D CNNs. To this end, we propose a spAtio-temporal, Channel and moTion excitatION (ACTION) module consisting of three paths: Spatio-Temporal Excitation (STE) path, Channel Excitation (CE) path, and Motion Excitation (ME) path. The STE path employs one channel 3D convolution to characterize spatio-temporal representation. The CE path adaptively recalibrates channel-wise feature responses by explicitly modeling interdependencies between channels in terms of the temporal aspect. The ME path calculates feature-level temporal differences, which is then utilized to excite motion-sensitive channels. We equip 2D CNNs with the proposed ACTION module to form a simple yet effective ACTION-Net with very limited extra computational cost. ACTION-Net is demonstrated by consistently outperforming 2D CNN counterparts on three backbones (i.e., ResNet-50, MobileNet V2 and BNInception) employing three datasets (i.e., Something-Something V2, Jester, and EgoGesture). Codes are available at \url{https://github.com/V-Sense/ACTION-Net}.

研究动机与目标

• 为解决视频动作识别中计算效率与性能之间的权衡问题，通过多类型特征建模增强2D CNN。
• 设计一种轻量级、通用的模块，可无缝嵌入现有2D CNN架构中，无需对网络结构进行大规模修改。
• 通过在特征层面显式捕捉运动模式，改进2D CNN中的时序建模能力，避免昂贵的光流计算。
• 在保持低推理成本的前提下，实现在大规模动作识别基准上的优异性能。

提出的方法

• ACTION模块由三条并行的激励路径组成：时空激励（STE）、通道激励（CE）和运动激励（ME）。
• STE路径使用1x1x1的3D卷积从特征图中提取时空表征。
• CE路径对时间维度进行全局平均池化，并利用挤压-激励机制，根据通道间依赖关系重新校准通道特征。
• ME路径计算连续特征图之间的时序差异，并通过可学习变换，用其激励对运动敏感的通道。
• 三条路径的输出被拼接后，通过一个可学习门控机制，生成最终的增强特征图。
• 该模块被插入到2D CNN的残差块中（如ResNet-50、MobileNet V2、BNInception），构成ACTION-Net架构。

实验结果

研究问题

• RQ1 一个轻量级、即插即用的模块能否通过同时建模时空、通道和运动特征，有效提升2D CNN在视频动作识别中的性能？
• RQ2 所提出的多路径激励机制在准确率和计算效率方面，与TSM和3D CNN等现有方法相比表现如何？
• RQ3 各独立激励路径（STE、CE、ME）对整体性能提升的贡献分别是什么？
• RQ4 在网络中插入的ACTION模块数量如何影响识别准确率和计算成本？
• RQ5 ACTION模块能否在具有不同参数量和FLOP预算的多样化2D CNN主干网络上高效应用？

主要发现

• 在EgoGesture数据集上，ACTION-Net相比TSM实现了2.1%的Top-1准确率绝对提升，FLOPs仅增加5.3%。
• 在Something-Something V2数据集上，使用ResNet-50的ACTION-Net相比TSM实现了1.40%的Top-1准确率提升，而MobileNet V2则实现了0.22%的提升，且FLOPs增加可忽略。
• 效率指标η（每提升1% Top-1准确率所增加的FLOPs比例）最低为STE（0.18%），最高为ME（2.83%），表明STE是效率最高的组件。
• 在残差阶段（从res2到res5）中增加ACTION模块数量可持续提升性能，验证了该模块的可扩展性与有效性。
• ACTION-Net在所有三个主干网络（ResNet-50、BNInception、MobileNet V2）和所有三个数据集上均优于TSM，展现出良好的泛化能力与鲁棒性。
• 当用ACTION替换TSM时，MobileNet V2实现了最佳效率（最低η），表明该模块在轻量级模型中尤为有效。