[论文解读] DirecFormer: A Directed Attention in Transformer Approach to Robust Action Recognition

Thanh-Dat Truong, Quoc-Huy Bui+5 more|arXiv (Cornell University)|Mar 19, 2022

Human Pose and Action Recognition被引用 6

一句话总结

DirecFormer 提出了一种基于 Transformer 的新型框架，采用定向注意力机制，通过显式建模视频帧的正确时间顺序，提升了动作识别的鲁棒性。通过在空间和时间维度上引入方向性注意力，并使用自监督引导损失，其在 Kinetics-400 上实现了 SOTA 准确率（82.75% top-1），且推理成本显著低于先前方法。

ABSTRACT

Human action recognition has recently become one of the popular research topics in the computer vision community. Various 3D-CNN based methods have been presented to tackle both the spatial and temporal dimensions in the task of video action recognition with competitive results. However, these methods have suffered some fundamental limitations such as lack of robustness and generalization, e.g., how does the temporal ordering of video frames affect the recognition results? This work presents a novel end-to-end Transformer-based Directed Attention (DirecFormer) framework for robust action recognition. The method takes a simple but novel perspective of Transformer-based approach to understand the right order of sequence actions. Therefore, the contributions of this work are three-fold. Firstly, we introduce the problem of ordered temporal learning issues to the action recognition problem. Secondly, a new Directed Attention mechanism is introduced to understand and provide attentions to human actions in the right order. Thirdly, we introduce the conditional dependency in action sequence modeling that includes orders and classes. The proposed approach consistently achieves the state-of-the-art (SOTA) results compared with the recent action recognition methods, on three standard large-scale benchmarks, i.e. Jester, Kinetics-400 and Something-Something-V2.

研究动机与目标

• 解决现有动作识别模型在面对帧顺序被打乱或错误排列的视频时鲁棒性不足的问题。
• 探究模型是否能够纠正帧的时间顺序以提升识别准确率。
• 开发一种通过在空间和时间维度上使用方向性注意力显式建模动作正确序列的方法。
• 通过引入动作类别与帧顺序之间的条件依赖关系，提升泛化能力。
• 在计算成本方面显著低于先前的 3D-CNN 和基于 Transformer 的方法，实现 SOTA 性能。

提出的方法

• 提出一种定向注意力机制，不仅学习帧与标记在空间和时间维度上的注意力大小，还学习其方向。
• 引入一种定向时间注意力模块，通过方向性相关性建模动作序列，注意力图中以绿色（正向）和红色（负向）箭头表示。
• 采用自监督引导损失，通过鼓励注意力沿正确的时间方向流动，增强模型学习正确帧顺序的能力。
• 在推理阶段使用哈密顿路径查找算法，对打乱的帧进行顺序校正，验证模型重建正确序列的能力。
• 采用条件依赖建模策略，联合学习动作类别及其正确的时序排列。
• 使用 ImageNet-21K 预训练，端到端训练基于 Transformer 的模型，推理时仅使用 3 个空间裁剪和单个时间片段，显著降低计算成本。

实验结果

研究问题

• RQ1 当视频帧被打乱至原始时间顺序之外时，动作识别模型是否仍能保持高准确率？
• RQ2 模型在多大程度上能够纠正错误排列的帧顺序，以提升识别性能？
• RQ3 在空间和时间维度上引入方向性注意力是否能提升动作识别的鲁棒性和准确率？
• RQ4 与标准的 softmax 或余弦注意力相比，所提出的定向注意力机制在建模时间序列依赖关系方面表现如何？
• RQ5 自监督引导损失是否能有效提升模型学习视频序列中动作正确顺序的能力？

主要发现

• DirecFormer 在 Kinetics-400 上实现了 82.75% 的 SOTA top-1 准确率，比 TimeSFormer-L 高约 2%。
• 模型仅使用 3 个视图（1 个片段 × 3 个裁剪）即保持了优异性能，显著降低了推理成本，优于先前使用 30 个视图的方法。
• 在时间与空间维度上均采用 C-C（余弦-余弦）注意力时性能最高，证明了方向性注意力的有效性。
• 在 Jester 上的消融实验表明，所提出的定向注意力机制与引导损失显著优于标准注意力机制，显著提升了识别准确率。
• 定性结果表明，模型能成功利用注意力图上的哈密顿路径检测，从打乱的跑酷动作视频中重建出正确的帧顺序。
• 尽管模型参数量和 GFLOPs 与 TimeSFormer 相当，DirecFormer 在三个基准数据集（Kinetics-400、Jester 和 Something-Something-V2）上均取得了更高的准确率。