[論文レビュー] Knowing What, Where and When to Look: Efficient Video Action Modeling with Attention

Juan-Manuel Pérez-Rúa, Brais Martínez+4 more|arXiv (Cornell University)|Apr 2, 2020

Human Pose and Action Recognition参考文献 61被引用数 17

ひとこと要約

本稿では、動画行動認識のための軽量で因子化されたアーキテクチャである What-Where-When (W3) ビデオアテンションモジュールを提案する。このモジュールは、『何』（コンテンツ）、『どこ』（空間的位置）、『いつ』（時間的ダイナミクス）を同時にモデル化する。特徴マップを1次元のチャネルおよび2次元の空間テンソルに分解し、効率的な時間的推論を適用することで、TSMに比べて1.5–3.2%の追加FLOPsで、Something-Something V2 や EPIC-Kitchens などのベンチマークで最先端の精度を達成する。

ABSTRACT

Attentive video modeling is essential for action recognition in unconstrained videos due to their rich yet redundant information over space and time. However, introducing attention in a deep neural network for action recognition is challenging for two reasons. First, an effective attention module needs to learn what (objects and their local motion patterns), where (spatially), and when (temporally) to focus on. Second, a video attention module must be efficient because existing action recognition models already suffer from high computational cost. To address both challenges, a novel What-Where-When (W3) video attention module is proposed. Departing from existing alternatives, our W3 module models all three facets of video attention jointly. Crucially, it is extremely efficient by factorizing the high-dimensional video feature data into low-dimensional meaningful spaces (1D channel vector for `what' and 2D spatial tensors for `where'), followed by lightweight temporal attention reasoning. Extensive experiments show that our attention model brings significant improvements to existing action recognition models, achieving new state-of-the-art performance on a number of benchmarks.

研究の動機と目的

• 非制約的な動画における空間的・時間的アテンションのモデル化に挑戦し、余分な空間的・時間的情報が判別的表現学習を妨げる要因となる問題を解決する。
• 『何』（コンテンツベースのアテンション）、『どこ』（空間的注目）、『いつ』（時間的ダイナミクス）を統合的にモデル化する動画アテンション機構を設計する。これは、先行研究でしばしば無視される側面である。
• 計算コストを最小限に抑えつつ高い性能を達成し、実世界の動画行動認識システムにアテンションを実装可能にする。
• 特に I3D や TSM のような深層ネットワークにおける勾配消失を引き起こす深層ビデオアテンションモジュールの訓練不安定性を克服する。
• 複雑な因子化アテンションモジュールのエンドツーエンド訓練を可能にする訓練戦略を開発するが、性能の著しい低下を伴わない。

提案手法

• W3モジュールは、ビデオ特徴を2つの成分に因子化する：『何』（コンテンツベースのアテンション）のための1次元チャネルベクトルと、『どこ』（空間アテンション）のための2次元空間テンソル。これにより、計算が効率的に行える。
• 時間的推論は、両方の成分に対して軽量な1次元および3次元畳み込みニューラルネットワーク（CNN）を別々に適用し、時間経過に伴うアテンションの変化を学習可能にする。
• バックプロパゲーション中の勾配フローを向上させるために、アテンションガイドド特徴精錬モジュールを導入する。
• 成熟した特徴ガイドド正則化（MFR）は、段階的自己知識蒸留技術として提案され、訓練の安定性を高め、局所最適解への陥落を回避する。
• W3モジュールは、TSM や I3D といった既存の行動認識モデルにプラグインブロックとして挿入可能で、FLOPsの増加を最小限に抑えながらエンドツーエンド訓練を可能にする。
• 標準的な交差エントロピー損失とデータオーグメンテーション、ミックス精度学習を用いてモデルを訓練し、推論時には1クリップ、中央クロップを使用する。

実験結果

リサーチクエスチョン

• RQ1 計算コストを増加させることなく、『何』、『どこ』、『いつ』を統合的にモデル化できる統一された動画アテンション機構は、行動認識精度の向上に寄与するか？
• RQ2 チャネルアテンションと空間アテンションを別々の低次元成分に因子化することで、動画行動認識における性能と効率にどのような影響を与えるか？
• RQ3 時間的推論部を備えた深層ビデオアテンションモジュールの訓練を安定化させるために必要な訓練戦略は何か？
• RQ4 CBAM や Non-Local といった既存のアテンション機構と比較して、提案された W3 モジュールは、精度と効率の面でどのように優れているか？
• RQ5 推論時に、アテンション機構は意味的に意味のある空間的・時間的領域をどれだけ的確に捉えているか？また、静的空間アテンションとはどのように異なるか？

主な発見

• TSMバックボーンにW3モジュールを追加した場合、Something-Something V2でトップ1精度52.6%を達成し、ベースラインTSMモデルより5.4ポイント高い。
• TSMに比べて1.5–3.2%の追加FLOPsで、FLOPsが75.8%増加するNon-Localモジュールを上回る性能を発揮する（65.0から115.0 GFLOPsに増加）。
• 成熟した特徴ガイドド正則化（MFR）を削除すると、トップ1精度が52.6%から50.3%に低下し、MFRがモデルの安定性と性能に果たす重要な役割を示している。
• アブレーションスタディの結果、時間的アテンションは空間的アテンションよりも重要であることが判明。時間的アテンションを削除すると、精度は52.6%から47.2%に5.4ポイント低下する。
• CBAMと組み合わせた場合、MFRは1.4%の精度向上をもたらすが、W3と組み合わせた場合、2.4%の向上が得られ、より豊かな空間的・時間的特徴が正則化プロセスを強化していることを示している。
• 可視化結果から、W3はアクティブな行動フェーズにのみ注目しており、関連する文脈（例：物体、手、シーン）を捉えている。一方、CBAMは行動状態に関係なく静的空間アテンションを適用する。