[論文レビュー] Two-stream Flow-guided Convolutional Attention Networks for Action Recognition

An V. Tran, Loong‐Fah Cheong|arXiv (Cornell University)|Aug 30, 2017

Human Pose and Action Recognition参考文献 16被引用数 8

ひとこと要約

本稿では、補正済みのオプティカルフローを用いて空間ストリームのCNNが人間のフォアグラウンドに注目できるようにガイドする、2ストリームのフローフォローアテンション畳み込みネットワーク（FCAN）を提案する。クロスリンク層を導入し、要素ごとの乗算によってフローパターンから得られるアテンションマップを適用することで、UCF101（92.0%）、HMDB51（66.7%）、Hollywood2（71.1%）で最先端の性能を達成し、背景の雑音に対して高いロバスト性を示した。

ABSTRACT

This paper proposes a two-stream flow-guided convolutional attention networks for action recognition in videos. The central idea is that optical flows, when properly compensated for the camera motion, can be used to guide attention to the human foreground. We thus develop cross-link layers from the temporal network (trained on flows) to the spatial network (trained on RGB frames). These cross-link layers guide the spatial-stream to pay more attention to the human foreground areas and be less affected by background clutter. We obtain promising performances with our approach on the UCF101, HMDB51 and Hollywood2 datasets.

研究の動機と目的

• RGB動画フレームで学習する空間ストリームCNNの特徴マップに、背景の雑音が支配的になるという課題に対処すること。
• 特にカメラの動き補正が施されたオプティカルフローの内在的な動き感受性を活用し、人間の動きに注目するアテンションをガイドすること。
• 時間的動きの特徴をアテンションマップとして明示的にモデル化することで、空間ストリームに対する2ストリームのアクション認識を向上させること。
• 3D-CNNアーキテクチャが単純な場合でも、フローフォローアテンションが有効であることを示し、再帰的アテンション機構を上回ること。

提案手法

• 時間ストリーム（補正済みオプティカルフローで学習）から空間ストリーム（RGBフレームで学習）へ、クロスリンク層を導入し、動きに基づくアテンションを注入する。
• 各クロスリンク層は、フローフィーチャの次元を低減する1×1畳み込みを実行し、その後バッチ正規化とシグモイド活性化関数を適用してアテンションマップを生成する。
• 生成されたアテンションマップを、空間ストリームの特徴マップと要素ごとの乗算により適用し、人間のフォアグラウンド領域を強調する。
• 最終予測は、空間ストリームと時間ストリームの出力をラテント融合することで行い、空間的・時間的構造を保持する。
• 空間的・時間的特徴を効果的にモデル化するため、両ストリームに3D畳み込みネットワーク（C3D）を採用する。
• 一般化性能を向上させるために、マルチスケール学習戦略とデータオーグメンテーションを用い、Caffeでモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 補正済みのオプティカルフローは、空間ストリームCNNが人間の動きに注目するための有効なアテンションメカニズムとして機能するか？
• RQ2 VideoLSTMのような再帰的アテンション機構と比較して、フローフォローアテンションはアクション認識においてどのように優れているか？
• RQ3 2ストリームネットワークにおける効果的なアテンションガイドのための最適なクロスリンク層の数は何か？
• RQ4 明示的なフローベースのアテンションガイドは、HMDB51 や Hollywood2 のような困難なデータセットで性能向上をもたらすか？
• RQ5 空間ストリームに標準的な3D-CNNアーキテクチャを用いても、フローフォローアテンションは性能向上をもたらすか？

主な発見

• 提案された2ストリームFCANは、UCF101で92.0%の精度を達成し、元の2ストリーム2D-CNNより4.0%、IDT+FVより6.1%高い性能を示した。
• HMDB51では66.7%の精度を達成し、元の2ストリーム2D-CNNより7.3%、ソフトアテンションモデル（41.3%）より25.4%高い性能を示した。
• Hollywood2データセットでは71.1%という新たなSOTAを達成し、優れた一般化性能を示した。
• 4つのFCANモデルをアンサンブルすることで、UCF101で93.4%、HMDB51で68.2%の性能に向上し、強い相乗効果が確認された。
• 可視化結果から、補正済みフローからのアテンションマップが、特に複雑なシーンでも人間の輪郭や動き領域を効果的に強調していることが確認された。
• クロスリンク層は1〜2層が最適であり、それ以上増やすと利得が減少することが示された。