[论文解读] MAR: Masked Autoencoders for Efficient Action Recognition

Zhiwu Qing, Shiwei Zhang+6 more|arXiv (Cornell University)|Jul 24, 2022

Human Pose and Action Recognition被引用 16

一句话总结

本文提出掩码动作识别（MAR），一种用于视觉变换器（ViTs）在视频动作识别中的计算高效训练方案。通过应用单元运行掩码以保留时空相关性，并引入桥接分类器以弥合重建特征与分类特征之间的语义鸿沟，MAR在将ViT计算量减少53%的同时，性能优于标准训练——例如，使用MAR训练的ViT-Large在仅14.5%的计算成本下，准确率已超过标准训练的ViT-Huge。

ABSTRACT

Standard approaches for video recognition usually operate on the full input videos, which is inefficient due to the widely present spatio-temporal redundancy in videos. Recent progress in masked video modelling, i.e., VideoMAE, has shown the ability of vanilla Vision Transformers (ViT) to complement spatio-temporal contexts given only limited visual contents. Inspired by this, we propose propose Masked Action Recognition (MAR), which reduces the redundant computation by discarding a proportion of patches and operating only on a part of the videos. MAR contains the following two indispensable components: cell running masking and bridging classifier. Specifically, to enable the ViT to perceive the details beyond the visible patches easily, cell running masking is presented to preserve the spatio-temporal correlations in videos, which ensures the patches at the same spatial location can be observed in turn for easy reconstructions. Additionally, we notice that, although the partially observed features can reconstruct semantically explicit invisible patches, they fail to achieve accurate classification. To address this, a bridging classifier is proposed to bridge the semantic gap between the ViT encoded features for reconstruction and the features specialized for classification. Our proposed MAR reduces the computational cost of ViT by 53% and extensive experiments show that MAR consistently outperforms existing ViT models with a notable margin. Especially, we found a ViT-Large trained by MAR outperforms the ViT-Huge trained by a standard training scheme by convincing margins on both Kinetics-400 and Something-Something v2 datasets, while our computation overhead of ViT-Large is only 14.5% of ViT-Huge.

研究动机与目标

• 解决标准视频动作识别效率低下的问题，即尽管存在广泛的时空冗余，仍需处理完整视频帧。
• 在不牺牲性能的前提下，降低基于视觉变换器（ViT）的动作识别计算成本。
• 使ViT能够仅使用部分掩码补丁，有效重建缺失的视觉内容并完成动作分类。
• 弥合用于重建的特征与专用于分类的特征之间的语义鸿沟。

提出的方法

• 引入单元运行掩码以生成时空交错的掩码，确保同一空间位置的补丁在帧间按顺序被观察，从而保留时间连贯性。
• 该掩码策略系统性地丢弃50–75%的视频补丁，同时保持强大的时空上下文以支持重建。
• 添加轻量级桥接分类器，以对齐ViT编码特征在重建任务中的语义表示与为分类优化的表示。
• 该方法端到端运行，使用预训练的VideoMAE编码器，仅微调桥接分类器和分类头以完成动作识别。
• 该方法在Kinetics-400和Something-Something v2数据集上应用于ViT-B、ViT-Large和ViT-Huge模型。
• 训练使用掩码输入，模型在标准动作识别基准上进行评估。

实验结果

研究问题

• RQ1 能否通过掩码训练方案在保持或提升准确率的同时，降低基于ViT的视频动作识别的计算成本？
• RQ2 如何利用视频中的时空冗余，仅通过可见标记的子集有效重建缺失的补丁？
• RQ3 专用桥接分类器对对齐重建感知特征与分类特异性表示的影响是什么？
• RQ4 MAR能否在显著降低计算量的前提下实现最先进性能，相比标准训练方案？
• RQ5 该方法在不同模型规模和不同规模的视频数据集上是否具备泛化能力？

主要发现

• 与标准训练相比，MAR将ViT的计算成本降低了53%，在Kinetics-400和Something-Something v2上均实现了更优性能。
• 在Kinetics-400上，使用MAR训练的ViT-Large准确率比标准训练的ViT-Huge高出0.2%，在Something-Something v2上也高出0.2%，但仅消耗14.5%的GFLOPs。
• 在Kinetics-400上，MAR结合ViT-Large在131 GFLOPs下达到83.9%的准确率，优于标准训练的ViT-Base（81.3%），且计算量减少27%。
• 该方法将实际训练时间减少50%，从标准训练的11.8小时降至5.9小时（在Something-Something v2上）。
• MAR在相似计算预算下实现了最先进性能，甚至超越在更大数据集上预训练的方法。
• 在UCF101和HMDB51等小规模数据集上，MAR保持了竞争力或更优性能，表明其具备强大的泛化能力。