[論文レビュー] MAR: Masked Autoencoders for Efficient Action Recognition

Zhiwu Qing, Shiwei Zhang+6 more|arXiv (Cornell University)|Jul 24, 2022

Human Pose and Action Recognition被引用数 16

ひとこと要約

この論文では、ビデオアクション認識におけるビジョントランスフォーマー（ViTs）の計算効率を向上させるための、マスクドアクション認識（MAR）という訓練手法を提案している。時間的・空間的相関を保持するためのセルランニングマスキングを適用し、再構成と分類の特徴の間の意味的ギャップを埋めるためにブリッジ分類器を導入することで、ViTの計算量を53%削減しながら、標準的な訓練を上回る性能を達成した。例えば、MARで訓練されたViT-Largeは、計算コストがViT-Hugeの14.5%にとどまるにもかかわらず、標準的な訓練を施したViT-Hugeを上回る精度を達成した。

ABSTRACT

Standard approaches for video recognition usually operate on the full input videos, which is inefficient due to the widely present spatio-temporal redundancy in videos. Recent progress in masked video modelling, i.e., VideoMAE, has shown the ability of vanilla Vision Transformers (ViT) to complement spatio-temporal contexts given only limited visual contents. Inspired by this, we propose propose Masked Action Recognition (MAR), which reduces the redundant computation by discarding a proportion of patches and operating only on a part of the videos. MAR contains the following two indispensable components: cell running masking and bridging classifier. Specifically, to enable the ViT to perceive the details beyond the visible patches easily, cell running masking is presented to preserve the spatio-temporal correlations in videos, which ensures the patches at the same spatial location can be observed in turn for easy reconstructions. Additionally, we notice that, although the partially observed features can reconstruct semantically explicit invisible patches, they fail to achieve accurate classification. To address this, a bridging classifier is proposed to bridge the semantic gap between the ViT encoded features for reconstruction and the features specialized for classification. Our proposed MAR reduces the computational cost of ViT by 53% and extensive experiments show that MAR consistently outperforms existing ViT models with a notable margin. Especially, we found a ViT-Large trained by MAR outperforms the ViT-Huge trained by a standard training scheme by convincing margins on both Kinetics-400 and Something-Something v2 datasets, while our computation overhead of ViT-Large is only 14.5% of ViT-Huge.

研究の動機と目的

• ビデオに広く見られる時間的・空間的冗長性にもかかわらず、全フレームを処理する標準的なビデオアクション認識の非効率性を是正すること。
• 性能を損なわず、ビジョントランスフォーマー（ViT）に基づくアクション認識における計算コストを低減すること。
• マスクされたパッチの部分集合のみを用いて、ViTが欠損した視覚的コンテンツを効果的に再構成し、アクションを分類できるようにすること。
• 再構成に用いられる特徴と分類に最適化された特徴の間の意味的ギャップを埋めること。

提案手法

• セルランニングマスキングを導入し、時間的・空間的に入れ違いのマスクを生成することで、同じ空間的位置にあるパッチがフレーム間で順次観測されるようにし、時間的整合性を保つ。
• マスキング戦略により、ビデオのパッチの50–75%を体系的に破棄しつつも、再構成に強い時間的・空間的文脈を維持する。
• 軽量なブリッジ分類器を追加し、再構成に適した特徴と分類に最適化された特徴の意味的表現を一致させる。
• 事前学習済みのVideoMAEエンコーダーを用い、エンドツーエンドで動作させ、分類器とヘッドのみを微調整する。
• Kinetics-400およびSomething-Something v2データセットにおいて、ViT-B、ViT-Large、ViT-Hugeのモデルに本手法を適用した。
• マスクされた入力を用いて訓練を行い、標準的なアクション認識ベンチマークで評価した。

実験結果

リサーチクエスチョン

• RQ1 マスクされた訓練スキームは、ViTベースのビデオアクション認識における計算コストを削減しつつ、精度を維持または向上させることができるか？
• RQ2 ビデオ内の時間的・空間的冗長性をどのように活用し、可視トークンの部分集合のみで欠損パッチを効果的に再構成できるか？
• RQ3 専用のブリッジ分類器が、再構成に適した特徴と分類固有の表現を一致させることに与える影響は何か？
• RQ4 MARは、標準的な訓練スキームと比較して、著しく低い計算量で最先端の性能を達成できるか？
• RQ5 本手法は、異なるモデルサイズや規模の異なるビデオデータセットにおいても一般化可能か？

主な発見

• MARは、標準的な訓練と比較して、ViTの計算コストを53%削減し、Kinetics-400およびSomething-Something v2の両方でより高い性能を達成した。
• MARで訓練されたViT-Largeは、Kinetics-400で標準的なViT-Hugeを0.2%上回り、Something-Something v2でも同様に0.2%上回ったが、GFLOPsは14.5%にとどまった。
• Kinetics-400では、MARを用いたViT-Largeが131 GFLOPsで83.9%の精度を達成し、27%の計算量削減で標準的なViT-Base（81.3%）を上回った。
• Wall-clockトレーニング時間は、Something-Something v2で50%短縮され、標準的な方法の11.8時間から5.9時間にまで短縮された。
• 同程度の計算コストの下でMARは最先端の性能を達成しており、より大きなデータセットで事前学習された手法でさえも上回った。
• UCF101 や HMDB51 のような小さなデータセットにおいても、MARは競争力のある、あるいは優れた性能を維持しており、優れた一般化能力を示した。