[論文レビュー] MM-ViT: Multi-Modal Video Transformer for Compressed Video Action Recognition

Jiawei Chen, Chiu Man Ho|arXiv (Cornell University)|Aug 20, 2021

Human Pose and Action Recognition被引用数 8

ひとこと要約

本稿では、Iフレーム、モーションベクトル、残差、音声を活用して、圧縮動画ドメインで直接動作する純粋なトランスフォーマー基盤モデルMM-ViTを提案する。空間、時間、モダリティの方向に自己注意を因子分解し、新しいクロスモダリティ注意メカニズムを用いることで、UCF-101、Something-Something-v2、Kinetics-600の各データセットで、光学フローを用いたCNNや動画トランスフォーマーを凌駒する最先端の精度と効率性を達成する。

ABSTRACT

This paper presents a pure transformer-based approach, dubbed the Multi-Modal Video Transformer (MM-ViT), for video action recognition. Different from other schemes which solely utilize the decoded RGB frames, MM-ViT operates exclusively in the compressed video domain and exploits all readily available modalities, i.e., I-frames, motion vectors, residuals and audio waveform. In order to handle the large number of spatiotemporal tokens extracted from multiple modalities, we develop several scalable model variants which factorize self-attention across the space, time and modality dimensions. In addition, to further explore the rich inter-modal interactions and their effects, we develop and compare three distinct cross-modal attention mechanisms that can be seamlessly integrated into the transformer building block. Extensive experiments on three public action recognition benchmarks (UCF-101, Something-Something-v2, Kinetics-600) demonstrate that MM-ViT outperforms the state-of-the-art video transformers in both efficiency and accuracy, and performs better or equally well to the state-of-the-art CNN counterparts with computationally-heavy optical flow.

研究の動機と目的

• 光学フローまたは単一モダリティ入力に依存する既存の動画行動認識モデルにおける非効率性とマルチモーダルな活用の限界を解決すること。
• RGBフレームへのデコードや光学フロー計算を回避し、圧縮動画ドメインで直接動作する純粋なトランスフォーマー・アーキテクチャの開発。
• 外見（Iフレーム）、動き（モーションベクトルと残差）、音声特徴の間で、統一された注意メカニズム内での有効なクロスモダリティ相互作用を可能にすること。
• 空間的・時間的・モダリティ的次元にわたる自己注意の因子分解により、計算コストを低減しつつ高い精度を達成すること。
• マルチモーダルなトランスフォーマーが、高価な光学フロー特徴に依存する最先端のCNNと同等またはそれを上回る性能を発揮するか、かつはるかに効率的であることを実証すること。

提案手法

• MM-ViTは、RGBフレームへのデコードを一切行わず、Iフレーム、モーションベクトル、残差、音声波形を入力モダリティとして、圧縮動画ドメインで直接動作する。
• 計算複雑度を低減するため、空間的・時間的・モダリティ的次元にわたる自己注意の因子分解を可能にするスケーラブルなモデル変種を導入する。
• 視覚的・音声的モダリティ間の豊富な相互作用を実現するため、3種類の異なるクロスモダリティ注意メカニズムを設計する。
• 4次元の空間的・時間的・モダリティ的注意メカニズムを採用し、複数の入力モダリティを有する動画にビジョントランスフォーマーの原則を拡張する。
• 注目マップの可視化にはAttention Rollout手法を採用し、モデルが意味的に関連する領域や行動に的を射ていることを示している。
• 公平な比較のため、標準的な学習および推論プロトコルに従い、3つのベンチマークでアーキテクチャを評価する。

実験結果

リサーチクエスチョン

• RQ1 光学フロー計算を回避し、圧縮動画ドメインで直接動作する純粋なトランスフォーマー・モデルが、高い精度を達成できるか？
• RQ2 空間的・時間的・モダリティ的次元にわたる自己注意の因子分解機構は、計算コストを低減しつつも性能を維持できるか？
• RQ3 新規のクロスモダリティ注意メカニズムは、Iフレーム、モーションベクトル、残差、音声の間の相互作用を効果的にモデル化でき、行動認識の性能向上に寄与するか？
• RQ4 マルチモーダルなトランスフォーマー手法は、高価な光学フロー特徴に依存する最先端のCNNを凌駒できるか、あるいは同等の性能を発揮できるか？
• RQ5 UCF-101、Something-Something-v2、Kinetics-600といった多様な行動認識ベンチマークにおいて、モデルの汎化性能はどの程度高いか？

主な発見

• UCF-101では、MM-ViTが3×8×224²解像度で66.7%のトップ-1精度を達成し、ViViT-LやTimesformer-Lを上回り、光学フローを用いたCNNよりも精度が高く、かつはるかに効率的である。
• Something- Something-v2では、0.75×3 TFLOPsで89.7%のトップ-1精度を達成し、最先端の動画トランスフォーマーと比較して優れた効率性と競争力のある精度を示している。
• Kinetics-600では、4×16×224²解像度で83.5%のトップ-1精度を達成し、Timesformer-Lを1.3%、ViViT-Lを0.5%上回っているが、計算量は少ない。
• 注目可視化の結果、モデルが関連する身体部位や行動に関連するキーワード（例：「eye」や「eyelid」）に的を射ており、空間的・時間的推論能力を有していることが確認された。
• MM-ViTは動画トランスフォーマー分野で最先端のパフォーマンスを達成し、光学フローを用いたCNNと同等またはそれを上回る性能を発揮しており、圧縮ドメインにおけるマルチモーダル学習の有効性を裏付けている。
• アブレーションスタディの結果、クロスモダリティ注意メカニズムが性能向上に顕著に寄与しており、因子化された注意機構はFLOPsを削減しつつも高い精度を維持していることが確認された。