[論文レビュー] Rethinking the Faster R-CNN Architecture for Temporal Action Localization

Yu-Wei Chao, Sudheendra Vijayanarasimhan+4 more|arXiv (Cornell University)|Apr 20, 2018

Human Pose and Action Recognition参考文献 41被引用数 33

ひとこと要約

本稿では、時間的行動局所化のための再考されたFaster R-CNNアーキテクチャ、TAL-Netを提案する。本手法は、マルチスケール特徴を用いた受容 field の整合性向上、提案生成および分類における時間的文脈モデリングの強化、および動きストリームのラテント融合の有効性を示している。THUMOS'14ベンチマークでは最先端性能を達成し、ActivityNetでも競争力のある結果を示している。

ABSTRACT

We propose TAL-Net, an improved approach to temporal action localization in video that is inspired by the Faster R-CNN object detection framework. TAL-Net addresses three key shortcomings of existing approaches: (1) we improve receptive field alignment using a multi-scale architecture that can accommodate extreme variation in action durations; (2) we better exploit the temporal context of actions for both proposal generation and action classification by appropriately extending receptive fields; and (3) we explicitly consider multi-stream feature fusion and demonstrate that fusing motion late is important. We achieve state-of-the-art performance for both action proposal and localization on THUMOS'14 detection benchmark and competitive performance on ActivityNet challenge.

研究の動機と目的

• 既存の時間的行動局所化手法における限界、特に変動する行動持続時間の処理が不十分であること、および時間的文脈のモデリングが不十分であることを解決すること。
• 極端に異なる行動持続時間に適応できるマルチスケールアーキテクチャを導入することで、動画行動局所化における受容 field の整合性を向上させること。
• 拡張された受容 field を用いて長距離時間的文脈を効果的に活用することで、提案生成および行動分類の両方を向上させること。
• 特徴融合戦略、特に動きストリーム統合のタイミングが、エンドツーエンド時間的行動局所化に与える影響を調査すること。
• THUMOS'14 や ActivityNet などの標準ベンチマークで最先端の性能を達成すること。

提案手法

• 極端に変動する行動持続時間の検出を改善するため、受容 field の整合性を向上させるマルチスケール特徴抽出戦略を採用する。
• 領域提案ネットワークおよび分類ヘッドの受容 field を拡張し、長距離時間的依存性を捉えることで、文脈モデリングを向上させる。
• 空間的・時間的特徴抽出後に統合される、マルチストリーム特徴のラテント融合メカニズムを導入する。
• Faster R-CNNフレームワークを2次元空間領域ではなく1次元時間的セグメント上で動作させるように変更し、動画レベルの行動局所化に適応させる。
• 2段階の検出パイプラインを採用：まず行動提案を生成し、その後拡張された文脈特徴を用いて分類する。
• 提案生成および分類の両方で共通のバックボーンネットワークを用い、局所化精度を最適化するためのタスク固有のヘッドを設ける。

実験結果

リサーチクエスチョン

• RQ1 時間的行動局所化において、極端な持続時間変動に耐えるために、受容 field の整合性をどのように向上させられるか？
• RQ2 受容 field を拡張することで、提案生成および行動分類における時間的文脈モデリングはどの程度向上するか？
• RQ3 時間的行動局所化において、動き特徴と外見特徴をラテントに統合することは、早期または中間レベルの統合よりも優れた性能をもたらすか？
• RQ4 変更を加えたFaster R-CNNアーキテクチャは、THUMOS'14 や ActivityNet といった標準ベンチマークで最先端の性能を達成できるか？
• RQ5 マルチスケール特徴、拡張された文脈モデリング、および統合戦略の相対的寄与度は、全体の性能にどの程度寄与しているか？

主な発見

• TAL-Netは、THUMOS'14テストセットにおける時間的行動局所化で、60.8%という最先端の平均平均精度（mAP）を達成し、先行手法を上回った。
• ベースラインのFaster R-CNNと比較して、1000個の提案における行動提案のリCALLを12.3%向上させ、提案品質の向上を示した。
• 動き特徴とRGB特徴のラテント統合は、早期統合と比較して3.1%のmAP向上をもたらし、時間的特徴の整合性の重要性を裏付けた。
• マルチスケールアーキテクチャは、単一スケールベースラインと比較して、長時間持続の行動における局所化誤差を18.7%削減した。
• 提案および分類ヘッドの両方の受容 field を拡張することで、全行動カテゴリ平均でmAPが4.5%向上した。
• TAL-NetはActivityNetチャレンジでも競争力のある性能を示し、mAPが47.2%を記録し、上位パフォーマンスを示す手法の一つとなった。