[論文レビュー] VidTr: Video Transformer Without Convolutions

Yanyi Zhang, Xinyu Li+7 more|arXiv (Cornell University)|Apr 23, 2021

Human Pose and Action Recognition参考文献 61被引用数 4

ひとこと要約

VidTrは、分離可能なアテンションを用いた畳み込みフリーな動画トランスフォーマーを提案し、動画行動認識における効率的で効果的な空間時間モデリングを実現する。空間的および時間的アテンションを分離することで、メモリ使用量を3.3倍削減し、FLOPsを最大20倍削減しながら、5つのデータセットで最先端の性能を達成する。特に長期的な時間的推論タスクにおいて顕著な優位性を示す。

ABSTRACT

We introduce Video Transformer (VidTr) with separable-attention for video classification. Comparing with commonly used 3D networks, VidTr is able to aggregate spatio-temporal information via stacked attentions and provide better performance with higher efficiency. We first introduce the vanilla video transformer and show that transformer module is able to perform spatio-temporal modeling from raw pixels, but with heavy memory usage. We then present VidTr which reduces the memory cost by 3.3$ imes$ while keeping the same performance. To further optimize the model, we propose the standard deviation based topK pooling for attention ($pool_{topK\_std}$), which reduces the computation by dropping non-informative features along temporal dimension. VidTr achieves state-of-the-art performance on five commonly used datasets with lower computational requirement, showing both the efficiency and effectiveness of our design. Finally, error analysis and visualization show that VidTr is especially good at predicting actions that require long-term temporal reasoning.

研究の動機と目的

• 3D畳み込みニューラルネットワークの動画行動認識における限界、例えば受容-fieldの制限や特徴の集約が遅いことに対処すること。
• 畳み込みベースのバックボーンを一切用いずに、rawな動画ピクセルに対して純粋なトランスフォーマーを用いてエンドツーエンドの空間時間モデリングを実現する可能性を検討すること。
• 分離可能なアテンションや動的シーケンスプルーニングといったアーキテクチャ的イノベーションを通じて、通常の動画トランスフォーマーの高いメモリおよび計算コストを低減すること。
• 特に長期的な時間的理解が不可欠な行動において、グローバルな文脈が重要となる長期間の時間的推論タスクにおける性能向上を図ること。

提案手法

• ビジョントランスフォーマー（ViT）の原則に従い、rawな動画ピクセルを直接処理する通常の動画トランスフォーマーを提案し、自己アテンションがエンドツーエンドの動画分類に潜在的な可能性を示すことを実証する。
• 空間的および時間的アテンションヘッドを分離することで、分離可能なアテンション（separable-attention）を導入し、標準の動画トランスフォーマーと比較して3.3倍のメモリ消費量削減を達成しながら、精度に影響を与えない。
• 標準偏差に基づくtop-Kプーリング機構（pool_topK_std）を設計し、低分散・重複する時間的特徴をフィルタリングすることで代表的なフレームを選択する。
• 2段階の訓練戦略を採用：まずKinetics-400で事前学習し、その後下流のデータセットで微調整することで、多様なベンチマークにわたる強力な一般化性能を実現する。
• アテンションロールアウト可視化を用いてアテンションパターンを解釈し、空間的アテンションが行動関連領域に集中していること、時間的アテンションが重複するフレームを抑制していることを示す。
• I3Dとのモデルアンサンブルを可能にし、グローバル（トランスフォーマー）とローカル（畳み込み）モデリングの強みを組み合わせることで、Kinetics-400で+2%の精度向上を達成する。

実験結果

リサーチクエスチョン

• RQ1 畳み込み演算を一切用いずに、純粋なトランスフォーマー型アーキテクチャが動画行動認識で最先端の性能を達成できるか？
• RQ2 通常の動画トランスフォーマーの高いメモリおよびFLOPsコストを、性能を維持したままどのように低減できるか？
• RQ3 提案された分離可能なアテンション機構は、空間的および時間的モデリングを効果的に分離し、精度を損なわせずに効率性を向上させることができるか？
• RQ4 標準偏差に基づくtop-Kプーリングは、重複する時間的フレームを除去することで効率性を向上させることができ、モデル性能を維持または向上させるか？
• RQ5 I3Dのような畳み込みベースラインと比較して、VidTrモデルは長期的な時間的推論が必要な行動において優れた性能を示すか？

主な発見

• VidTr-Sは、Kinetics-400およびKinetics-700で最先端の性能を達成し、I3D101-NLの5倍少ないFLOPs（5倍少ない）を実現し、Slowfast101-8×8と比較して12%少ないFLOPsを達成した。
• 分離可能なアテンションにより、同じ精度を維持しながら、3.3倍のメモリ使用量削減を実現した。
• Charadesでは、VidTr-LがSlowfast101-NLと同等の性能を達成し、LFBおよびNUTA101を上回った。これは、マルチラベルデータセットへの強力な一般化性能を示している。
• UCF-101およびHMDB-51では、6エポックの訓練でUCF-101で96.6%のトップ-1精度、HMDB-51で74.4%のトップ-1精度を達成し、小規模データセットにおける強力な一般化性能を示した。
• 誤差分析により、VidTrは『ケーキを作る』対『ケーキを食べる』といった長期的な時間的文脈が不可欠な長期間の行動において、I3Dを顕著に上回ることが確認された。
• VidTr-LとI3D50をアンサンブルすることで、Kinetics-700で0.6%の性能向上が得られ、グローバル（トランスフォーマー）とローカル（畳み込み）モデリングの相補的な強みが裏付けられた。