[論文レビュー] Two-stream Collaborative Learning with Spatial-Temporal Attention for Video Classification

Yuxin Peng, Yunzhen Zhao+1 more|arXiv (Cornell University)|Nov 9, 2017

Human Pose and Action Recognition参考文献 65被引用数 7

ひとこと要約

本稿では、空間的・時間的アテンションを二つのスティームで共同最適化し、静的および運動特徴の動的で適応的な統合を可能にする、空間的・時間的アテンションを備えた二スティーム協調学習（TCLSTA）という動画分類モデルを提案する。TCLSTAは、協調学習およびアテンション機構を通じてフレームとオプティカルフロー入力の補完的関係をモデル化することで、4つのベンチマークデータセットで最先端の精度を達成した。

ABSTRACT

Video classification is highly important with wide applications, such as video search and intelligent surveillance. Video naturally consists of static and motion information, which can be represented by frame and optical flow. Recently, researchers generally adopt the deep networks to capture the static and motion information extbf{\emph{separately}}, which mainly has two limitations: (1) Ignoring the coexistence relationship between spatial and temporal attention, while they should be jointly modelled as the spatial and temporal evolutions of video, thus discriminative video features can be extracted.(2) Ignoring the strong complementarity between static and motion information coexisted in video, while they should be collaboratively learned to boost each other. For addressing the above two limitations, this paper proposes the approach of two-stream collaborative learning with spatial-temporal attention (TCLSTA), which consists of two models: (1) Spatial-temporal attention model: The spatial-level attention emphasizes the salient regions in frame, and the temporal-level attention exploits the discriminative frames in video. They are jointly learned and mutually boosted to learn the discriminative static and motion features for better classification performance. (2) Static-motion collaborative model: It not only achieves mutual guidance on static and motion information to boost the feature learning, but also adaptively learns the fusion weights of static and motion streams, so as to exploit the strong complementarity between static and motion information to promote video classification. Experiments on 4 widely-used datasets show that our TCLSTA approach achieves the best performance compared with more than 10 state-of-the-art methods.

研究の動機と目的

• 既存の二スティームネットワークが空間的および時間的アテンションを別々にモデル化するという限界に対処する。これにより、両者の共存および相互強化が無視される。
• 静的（フレーム）および運動（オプティカルフロー）スティーム間の協調学習の欠如に対処する。これにより、両者の強力な補完性が十分に活用されないことがある。
• 分類ごとに最適な重みを学習する適応的統合メカニズムを開発する。これにより、静的および運動特徴の統合が最適化され、判別的表現が向上する。
• 空間レベルおよび時間レベルのアテンションネットワークを共同で最適化することで、動画分類のための特徴学習を強化する。

提案手法

• 空間的・時間的アテンションモデルは、個々のフレーム内の顕著な領域を強調する空間レベルのアテンションネットワークと、動画シーケンス内の判別的フレームを特定する時間レベルのアテンションネットワークを用いる。
• これらの2つのアテンションモジュールは共同で訓練され合い、静的および運動特徴の判別的品質を向上させる。
• 静的・運動協調モデルは、アテンションモデルからの特徴を活用して、2つのスティーム間で相互にガイドし合い、表現学習を強化する。
• 適応的重み学習（AWL）メカニズムは、各動画カテゴリごとに統合重みを動的に計算し、フレームおよびオプティカルフロー特徴の最適な組み合わせを可能にする。
• 全体のフレームワークは、空間的・時間的アテンションと協調学習を統合した一貫した二スティームアーキテクチャであり、バックプロパゲーションを用いたエンドツーエンド学習が可能である。

実験結果

リサーチクエスチョン

• RQ1 空間的および時間的アテンションをどのように共同でモデル化すれば、動画分類における特徴の判別性を向上させられるか？
• RQ2 静的および運動特徴をどれほど協調的に学習させれば、表現品質を向上させられるか？
• RQ3 動画カテゴリに応じて変化する適応的統合重みは、固定またはヒューリスティックな統合戦略を上回る性能を示せるか？
• RQ4 空間的・時間的アテンションと静的・運動協調の統合は、多様な動画データセットにおいて一貫した性能向上をもたらすか？

主な発見

• TCLSTAは、HMDB51、UCF101、Kinetics-400、Something-Something V2の4つの広く使われている動画分類データセットにおいて、10以上の最先端手法を上回る最高の精度を達成した。
• アブレーションスタディの結果、空間的・時間的アテンション（STA）、協調学習（CLN）、適応的重み学習（AWL）を組み合わせることで最良の性能が得られ、フルモデルがすべてのコンポーネントの組み合わせを上回った。
• 適応的重み学習（AWL）は、すべてのデータセットでリードフェージョン、イ早融合、MKL統合を大きく上回り、分類ごとの最適な統合重みを学習する優位性を示した。
• HMDB51データセットでは、TCLSTAは、浅いネットワークを用いた手法を含むすべての比較手法を上回るテスト精度を達成したが、2つの最も高速なベースラインよりわずかに推論速度が遅い。