[論文レビュー] Faster-TAD: Towards Temporal Action Detection with Proposal Generation and Classification in a Unified Network

Shimin Chen, Chen Chen+3 more|arXiv (Cornell University)|Apr 6, 2022

Human Pose and Action Recognition被引用数 7

ひとこと要約

Faster-TAD は、一括処理の高速RCNNにインspiredされた単一段階ネットワークを提示し、時間的アクション検出を統合的に実行する。提案領域生成、分類、境界微調整を同時に実行する。文脈適応型提案モジュール（近接カテゴリ、自己注意、クロス注意メカニズムを備える）、レジラーブな回帰を実現するためのフェイク提案生成ブロック、およびアトミックアクション特徴を活用し、ActivityNet-1.3 で 40.01%、SoccerNet-Action Spotting で 54.09% の最先端の mAP を達成した。

ABSTRACT

Temporal action detection (TAD) aims to detect the semantic labels and boundaries of action instances in untrimmed videos. Current mainstream approaches are multi-step solutions, which fall short in efficiency and flexibility. In this paper, we propose a unified network for TAD, termed Faster-TAD, by re-purposing a Faster-RCNN like architecture. To tackle the unique difficulty in TAD, we make important improvements over the original framework. We propose a new Context-Adaptive Proposal Module and an innovative Fake-Proposal Generation Block. What's more, we use atomic action features to improve the performance. Faster-TAD simplifies the pipeline of TAD and gets remarkable performance on lots of benchmarks, i.e., ActivityNet-1.3 (40.01% mAP), HACS Segments (38.39% mAP), SoccerNet-Action Spotting (54.09% mAP). It outperforms existing single-network detector by a large margin.

研究の動機と目的

• 複数段階の時間的アクション検出パイプラインの非効率性と不柔軟性を解消する。
• 提案領域と生動画間の文脈的・意味的情報を活用して、提案領域の品質とアクション分類を向上させる。
• 多様なオフセットを持つフェイク提案を生成する新しいフェイク提案生成ブロックにより、境界回帰のロバスト性を向上させる。
• 複雑で長時間にわたる人間の行動検出において、アトミックアクション特徴の利点を実証する。
• 複数段階の微調整を経ない統合的でエンド・ツー・エンドで訓練可能なフレームワークで、最先端の性能を達成する。

提案手法

• マルチタスク損失を用いて、提案領域生成、分類、境界回帰を同時に最適化する、Faster-RCNNに類似したアーキテクチャを適用する。
• 近接カテゴリ提案、自己注意、クロス注意ブロックを統合した文脈適応型提案モジュールを導入し、提案領域の意味的表現を豊かにする。
• 真のアノテーションからの多様なオフセットを持つ合成提案を生成するフェイク提案生成ブロックを提案し、回帰の一般化性能を向上させる。
• SEAL データセットで事前学習されたアトミックアクション特徴を補助入力として活用し、複雑な行動検出の表現力を強化する。
• 従来のアンカーに基づく手法に代わる境界一致信頼度マップを提案領域生成に用い、極端に長い期間の変動にも対応する。
• 検出ヘッド間で特徴を共有することで、エンド・ツー・エンドの学習とパラメータの効率性を実現する。

実験結果

リサーチクエスチョン

• RQ1 統合的で単一段階のネットワークは、パイプラインを簡素化しつつ、時間的アクション検出で最先端の性能を達成できるか？
• RQ2 提案領域同士および生動画との関係をモデル化することで、文脈適応型アテンション機構は提案分類の効果を高められるか？
• RQ3 真のアノテーションからの多様なオフセットを持つフェイク提案を生成することで、境界回帰のロバスト性が向上するか？
• RQ4 アトミックアクション特徴は、複雑で長時間にわたる人間の行動検出において、どの程度性能を向上させるか？
• RQ5 統合的ネットワークは、標準ベンチマークで、精度と効率の両面で複数段階手法を上回ることができるか？

主な発見

• ActivityNet-1.3 において、Faster-TAD は 40.01% の mAP を達成し、既存の単一ネットワーク検出器を大きく上回った。
• HACS Segments では 38.39% の mAP を達成し、異なるデータセットへの一般化性能が優れていることを示した。
• SoccerNet-Action Spotting では、Swin バッキングを用い、3秒および6秒のクリップで 54.09% の mAP を達成し、新たな最先端性能を樹立した。
• アブレーションスタディの結果、文脈適応型提案モジュールは意味的文脈モデリングを強化することで 0.73% の mAP 向上をもたらした。
• フェイク提案ブロックは mAP を 0.14% 向上させ、境界回帰の一般化性能が向上したことを示した。
• アトミックアクション特徴は 0.89% の mAP 向上をもたらし、複雑な行動検出における価値を裏付けた。