[論文レビュー] Two-Stream AMTnet for Action Detection

Suman Saha, Gurkirt Singh+1 more|arXiv (Cornell University)|Apr 3, 2020

Human Pose and Action Recognition参考文献 44被引用数 8

ひとこと要約

本論文は、トレーニング時特徴融合を用いて外見と動きのストリームを共同で学習する、オンラインアクション検出のための新規エンドツーエンドディープラーニングフレームワーク、Two-Stream AMTnetを提案する。これにより、リアルタイムかつインクリメンタルなアクションチューブ生成が可能となる。UCF-101-24およびJ-HMDB-21で最先端の性能を達成し、33 fpsの推論速度を実現。フレームベース、ラテンフュージョン、オフライン手法の制限を克服する。

ABSTRACT

In this paper, we propose Two-Stream AMTnet, which leverages recent advances in video-based action representation[1] and incremental action tube generation[2]. Majority of the present action detectors follow a frame-based representation, a late-fusion followed by an offline action tube building steps. These are sub-optimal as: frame-based features barely encode the temporal relations; late-fusion restricts the network to learn robust spatiotemporal features; and finally, an offline action tube generation is not suitable for many real-world problems such as autonomous driving, human-robot interaction to name a few. The key contributions of this work are: (1) combining AMTnet's 3D proposal architecture with an online action tube generation technique which allows the model to learn stronger temporal features needed for accurate action detection and facilitates running inference online; (2) an efficient fusion technique allowing the deep network to learn strong spatiotemporal action representations. This is achieved by augmenting the previous Action Micro-Tube (AMTnet) action detection framework in three distinct ways: by adding a parallel motion stIn this paper, we propose a new deep neural network architecture for online action detection, termed ream to the original appearance one in AMTnet; (2) in opposition to state-of-the-art action detectors which train appearance and motion streams separately, and use a test time late fusion scheme to fuse RGB and flow cues, by jointly training both streams in an end-to-end fashion and merging RGB and optical flow features at training time; (3) by introducing an online action tube generation algorithm which works at video-level, and in real-time (when exploiting only appearance features). Two-Stream AMTnet exhibits superior action detection performance over state-of-the-art approaches on the standard action detection benchmarks.

研究の動機と目的

• 自律走行や人間-ロボットインタラクションなどのアプリケーションにおけるリアルタイム展開を妨げる、フレームベース、ラテンフュージョン、オフライン手法の制限を解消すること。
• 密度の高い複数フレームアノテーション（例：k=6–8フレーム）を必要とする非効率さと高い計算コストを克服し、疎らなペアワイズフレームアノテーションによる学習を可能にすること。
• テスト時のラテンフュージョンに依存するのではなく、トレーニング時に特徴を統合することで、外見ストリームと動きストリームのエンドツーエンド共同最適化を実現すること。
• ビデオストリームが入力されるたびにリアルタイムにアクションチューブを段階的に構築するオンラインでインクリメンタルなアクションチューブ生成アルゴリズムを開発すること。
• 高い精度と高速性を同時に達成し、リアルタイムアプリケーションに適したモデルを実現するとともに、疎らなアノテーションと密度の高いアノテーションの両方のスキームをサポートすること。

提案手法

• 元のRGB外見ストリームに加えて、並列の動きストリームを導入し、光学フロー特徴を処理する。
• 両ストリームのエンドツーエンド共同学習を実施し、最適化中に外見特徴と動き特徴のピixe単位の対応関係を学習可能にする。
• ネットワークの初期段階でRGBと光学フロー特徴を統合する、トレーニング時の畳み込み特徴融合機構を実装し、時空間表現学習を向上させる。
• フレームレベルではなくビデオレベルでのインクリメンタルなアクションチューブ生成を可能にするオンラインアクションチューブ生成アルゴリズムを設計する。
• トレーニングおよび推論において、kフレームウィンドウ手法と比較して計算コストを低減するため、2フレームのペア（f_t, f_{t+Δ}）のみを用いる。
• 動き表現として高密度の光学フロー推定を活用し、速度最適化のためリアルタイムフローへの切り替えが可能であり、精度の著しい低下を伴わない。

実験結果

リサーチクエスチョン

• RQ1 トレーニング時の統合により、テスト時のラテンフュージョンと比較して、外見ストリームと動きストリームのエンドツーエンド共同学習が、時空間表現学習をどのように向上させるか？
• RQ2 オンラインでインクリメンタルなアクションチューブ生成戦略を2ストリームフレームワークに効果的に統合できるか？
• RQ3 k個の連続フレームではなく、2つのフレームのペアのみを用いることで、効果的な学習が可能となり、DALY や AVA のような疎らなアノテーションをサポートできるか？
• RQ4 提案手法は、標準ベンチマークで高い精度を達成するとともに、コンsumerハードウェア上でも20 fps以上のリアルタイム推論速度（例：>20 fps）を維持できるか？
• RQ5 高IOU閾値（例：0.75、[0.5:0.95]）において、最先端のオフラインおよびオンライン検出器と比較して、モデルの性能はいかがなものか？

主な発見

• Two-Stream AMTnetはUCF-101-24およびJ-HMDB-21で最先端の性能を達成し、特に高IOU閾値（例：0.75および[0.5:0.95]）において、オンラインおよびオフラインのSOTA手法を上回る。
• 1枚の1080Ti GPUで、単一ストリームでは33 fps、二重ストリームでは21 fpsの推論速度を達成し、オンライン展開に適したリアルタイム性能を示した。
• トレーニング時の統合戦略は、従来のテスト時のラテンフュージョンと比較して、動画mAPを顕著に向上させ、外見-動き表現学習に有効であることを実証した。
• 2フレームペアのみを用いることで、DALY や AVA のような疎らなアノテーションをサポートし、先行手法が要請する高コストなkフレームの密度の高いアノテーションを回避できた。
• J-HMDB-21において、Kalogeitonら[7]の手法よりも高IOU閾値で優れた性能を示し、局所化のロバスト性が優れていることを裏付けた。
• UCF-101-24では、オフラインモデルで最も高い性能を示す手法に対しても、オンラインかつリアルタイムであるにもかかわらず、最高の性能を達成した。