[论文解读] Cross-Modal Learning with 3D Deformable Attention for Action Recognition

Sangwon Kim, Dasom Ahn+1 more|arXiv (Cornell University)|Dec 12, 2022

Human Pose and Action Recognition被引用 4

一句话总结

本文提出一种用于动作识别的3D可变形注意力机制，结合跨模态学习，利用自适应时空注意力聚焦于相关关节点和时间片段。该方法在NTU60、NTU120、FineGYM和PennAction数据集上实现了无需预训练的最先进性能，同时通过关节点和时间步长的可视化实现可解释的注意力机制。

ABSTRACT

An important challenge in vision-based action recognition is the embedding of spatiotemporal features with two or more heterogeneous modalities into a single feature. In this study, we propose a new 3D deformable transformer for action recognition with adaptive spatiotemporal receptive fields and a cross-modal learning scheme. The 3D deformable transformer consists of three attention modules: 3D deformability, local joint stride, and temporal stride attention. The two cross-modal tokens are input into the 3D deformable attention module to create a cross-attention token with a reflected spatiotemporal correlation. Local joint stride attention is applied to spatially combine attention and pose tokens. Temporal stride attention temporally reduces the number of input tokens in the attention module and supports temporal expression learning without the simultaneous use of all tokens. The deformable transformer iterates L-times and combines the last cross-modal token for classification. The proposed 3D deformable transformer was tested on the NTU60, NTU120, FineGYM, and PennAction datasets, and showed results better than or similar to pre-trained state-of-the-art methods even without a pre-training process. In addition, by visualizing important joints and correlations during action recognition through spatial joint and temporal stride attention, the possibility of achieving an explainable potential for action recognition is presented.

研究动机与目标

• 解决视觉变换器在时空动作识别中固定感受野的局限性。
• 在单一变换器架构内实现视频与骨骼模态之间的有效跨模态学习。
• 通过自适应注意力机制降低计算复杂度，同时保持时空相关性。
• 通过可视化关键关节点和时间片段，提供可解释的注意力图。

提出的方法

• 引入一种3D可变形注意力模块，自适应地选择相关时空标记而非关注所有标记，从而降低计算成本并提升特征聚焦能力。
• 采用跨模态标记机制，实现在单个变换器块内视频与姿态模态之间的双向上下文交互。
• 通过滑动窗口将关节点标记分组，应用局部关节点步长注意力，以保持空间相关性并提升效率。
• 使用时间步长注意力对输入标记进行时间下采样，通过减少序列长度来保留长程时间依赖性。
• 将三种注意力模块——3D可变形注意力、局部关节点步长注意力和时间步长注意力——整合到单个迭代变换器块中，实现端到端特征学习。
• 将骨骼数据投影为关节点标记，并通过交叉注意力与视频特征融合，无需辅助子模型。

实验结果

研究问题

• RQ1 3D可变形注意力机制是否能通过自适应聚焦于相关区域，提升视觉变换器在动作识别中的时空特征学习能力？
• RQ2 统一的变换器架构结合跨模态标记，在无需独立编码器的情况下，对视频与骨骼模态的融合效果如何？
• RQ3 局部关节点步长与时间步长注意力在保持时空相关性的同时，对效率与性能的提升程度如何？
• RQ4 所提出的注意力机制能否生成与人类对关键动作组件感知一致的可解释注意力图？
• RQ5 在准确率与计算成本之间取得平衡时，最优的输入帧数和注意力窗口配置是什么？

主要发现

• 所提出的3D可变形注意力在PennAction数据集上实现了99.7%的top-1准确率，优于未使用该组件的模型。
• 消融实验表明，移除3D可变形注意力后准确率下降4.9个百分点，证实其在性能中的关键作用。
• 使用跨模态标记使准确率从92.2%（无标记）提升至99.7%，证明其在跨模态特征融合中的有效性。
• PennAction数据集的最优输入帧数被确定为12帧，因为使用更少帧时性能下降。
• 时间步长注意力采用窗口大小一半的步长时性能最佳，表明适度重叠有助于提升时间相关性学习。
• 可视化结果显示，注意力在运动关节点（如头部、右手、右腿）上显著激活，证实其与动作动态的一致性，并支持模型的可解释性。