[论文解读] MM-ViT: Multi-Modal Video Transformer for Compressed Video Action Recognition

Jiawei Chen, Chiu Man Ho|arXiv (Cornell University)|Aug 20, 2021

Human Pose and Action Recognition被引用 8

一句话总结

该论文提出 MM-ViT，一种纯 Transformer 架构的视频动作识别模型，直接在压缩视频域中运行，利用 I-帧、运动向量、残差和音频。通过在空间、时间与模态维度上分解自注意力机制，并采用新颖的跨模态注意力机制，该模型在 UCF-101、Something- Something-v2 和 Kinetics-600 上实现了最先进的准确率与效率，优于使用光流的视频 Transformer 和 CNN 模型。

ABSTRACT

This paper presents a pure transformer-based approach, dubbed the Multi-Modal Video Transformer (MM-ViT), for video action recognition. Different from other schemes which solely utilize the decoded RGB frames, MM-ViT operates exclusively in the compressed video domain and exploits all readily available modalities, i.e., I-frames, motion vectors, residuals and audio waveform. In order to handle the large number of spatiotemporal tokens extracted from multiple modalities, we develop several scalable model variants which factorize self-attention across the space, time and modality dimensions. In addition, to further explore the rich inter-modal interactions and their effects, we develop and compare three distinct cross-modal attention mechanisms that can be seamlessly integrated into the transformer building block. Extensive experiments on three public action recognition benchmarks (UCF-101, Something-Something-v2, Kinetics-600) demonstrate that MM-ViT outperforms the state-of-the-art video transformers in both efficiency and accuracy, and performs better or equally well to the state-of-the-art CNN counterparts with computationally-heavy optical flow.

研究动机与目标

• 解决现有视频动作识别模型在依赖光流或单模态输入时存在的效率低下与多模态利用有限的问题。
• 开发一种纯 Transformer 架构，直接在压缩视频域中运行，避免昂贵的解码与光流计算。
• 在统一的注意力机制中实现外观（I-帧）、运动（运动向量与残差）和音频特征之间的有效跨模态交互。
• 通过在空间、时间与模态维度上分解自注意力机制，实现高准确率的同时降低计算成本。
• 证明多模态 Transformer 可以匹配或超越依赖昂贵光流特征的 SOTA CNN 模型，同时具备显著更高的效率。

提出的方法

• MM-ViT 仅在压缩视频域中运行，使用 I-帧、运动向量、残差与音频波形作为输入模态，无需解码为 RGB 帧。
• 提出可扩展的模型变体，通过在空间、时间与模态维度上分解自注意力机制，降低计算复杂度。
• 设计了三种不同的跨模态注意力机制，以实现视觉与音频模态之间的丰富交互。
• 采用 4D 空间-时间-模态注意力机制，将视觉 Transformer 原理扩展至多模态视频输入。
• 使用 Attention Rollout 方法可视化注意力图，表明模型能有效聚焦于语义相关的区域与动作。
• 在三个基准数据集上使用标准训练与推理协议评估模型架构，以确保与最先进方法的公平比较。

实验结果

研究问题

• RQ1 纯 Transformer 模型是否能在直接于压缩视频域中运行、避免光流计算的前提下，实现高视频动作识别准确率？
• RQ2 在空间、时间与模态维度上分解的自注意力机制，在保持性能的同时，是否能有效降低计算成本？
• RQ3 新颖的跨模态注意力机制是否能有效建模 I-帧、运动向量、残差与音频之间的交互，从而提升动作识别性能？
• RQ4 多模态 Transformer 方法是否能超越或匹配依赖昂贵光流特征的 SOTA CNN 模型的性能？
• RQ5 该模型在 UCF-101、Something- Something-v2 与 Kinetics-600 等多样化动作识别基准上的泛化能力如何？

主要发现

• 在 UCF-101 上，MM-ViT 使用 3×8×224² 分辨率达到 66.7% 的 top-1 准确率，优于 ViViT-L 与 Timesformer-L，且在准确率上超越使用光流的 CNN 模型，同时计算效率更高。
• 在 Something- Something-v2 上，MM-ViT 达到 89.7% 的 top-1 准确率，计算量为 0.75×3 TFLOPs，展现出优于 SOTA 视频 Transformer 的优越效率与竞争力准确率。
• 在 Kinetics-600 上，MM-ViT 使用 4×16×224² 分辨率达到 83.5% 的 top-1 准确率，较 Timesformer-L 提升 1.3%，较 ViViT-L 提升 0.5%，且计算量更低。
• 注意力可视化结果表明，模型能有效聚焦于相关身体部位与动作相关文本（如 'Apply Eye Makeup' 中的 'eye' 与 'eyelid'），证实其具备空间-时间推理能力。
• MM-ViT 在视频 Transformer 中达到 SOTA 性能，并与使用光流的 CNN 模型相当或更优，证明了在压缩域中多模态学习的有效性。
• 消融实验证实，跨模态注意力机制显著提升性能，且分解注意力机制在降低 FLOPs 的同时保持了高准确率。