[論文レビュー] Temporal Context Aggregation Network for Temporal Action Proposal Refinement

Zhiwu Qing, Haisheng Su+8 more|arXiv (Cornell University)|Mar 24, 2021

Human Pose and Action Recognition参考文献 43被引用数 13

ひとこと要約

本論文は、局所的およびグローバルな時間的依存関係を共同でモデル化するための局所-グローバル時間エンコーダー（LGTE）と、時間的境界を補完的かつ段階的に精緻化する時間的境界回帰器（TBR）を用いて、時間的アクション候補の精緻化を図る新規なフレームワーク、Temporal Context Aggregation Network（TCANet）を提案する。TCANetは、HACS、ActivityNet-v1.3、THUMOS-14の各データセットで最先端の性能を達成し、CVPR 2020 HACSチャレンジで1位を獲得した。

ABSTRACT

Temporal action proposal generation aims to estimate temporal intervals of actions in untrimmed videos, which is a challenging yet important task in the video understanding field. The proposals generated by current methods still suffer from inaccurate temporal boundaries and inferior confidence used for retrieval owing to the lack of efficient temporal modeling and effective boundary context utilization. In this paper, we propose Temporal Context Aggregation Network (TCANet) to generate high-quality action proposals through "local and global" temporal context aggregation and complementary as well as progressive boundary refinement. Specifically, we first design a Local-Global Temporal Encoder (LGTE), which adopts the channel grouping strategy to efficiently encode both "local and global" temporal inter-dependencies. Furthermore, both the boundary and internal context of proposals are adopted for frame-level and segment-level boundary regressions, respectively. Temporal Boundary Regressor (TBR) is designed to combine these two regression granularities in an end-to-end fashion, which achieves the precise boundaries and reliable confidence of proposals through progressive refinement. Extensive experiments are conducted on three challenging datasets: HACS, ActivityNet-v1.3, and THUMOS-14, where TCANet can generate proposals with high precision and recall. By combining with the existing action classifier, TCANet can obtain remarkable temporal action detection performance compared with other methods. Not surprisingly, the proposed TCANet won the 1$^{st}$ place in the CVPR 2020 - HACS challenge leaderboard on temporal action localization task.

研究の動機と目的

• 既存の時間的アクション候補生成手法が長距離時間的依存関係をモデル化する点で抱える限界を是正すること。
• 自信（confidence）のための内部コンテキストと、局所化精度（localization precision）のための境界コンテキストを効果的に活用することで、候補の品質を向上させること。
• フレームレベルおよびセグメントレベルの両方で、補完的かつ段階的な境界精緻化を可能にする統合的でエンドツーエンドのフレームワークを設計すること。
• 特に短時間持続のアクションに対して高い再現率（recall）と正確度（precision）を達成しながら、推論効率を維持すること。

提案手法

• 局所-グローバル時間エンコーダー（LGTE）は、入力特徴をチャネルグループに分割する。局所グループは1次元畳み込みを用いて短距離依存関係をモデル化し、グローバルグループはグローバルプーリングを用いて長距離コンテキストを捉える。
• LGTEはこれらのグループを並列に処理し、融合することで、局所的詳細とグローバル構造の両方を保持し、境界認識を高め、ノイズを低減する。
• 時間的境界回帰器（TBR）は二段階の精緻化を実行する：フレームレベルの回帰は境界に敏感な特徴を用いて開始・終了タイムスタンプを精緻化し、セグメントレベルの回帰は全体の候補コンテキストを用いて中心位置と持続時間の精緻化を行う。
• TBRは両方の回帰をエンドツーエンドで統合し、より高品質な候補を得るための段階的かつ補完的な境界精緻化を可能にする。
• このフレームワークはモジュール構造となっており、既存の2段階アクション検出パイプラインに統合可能である。
• TCANetは、フレームレベルとセグメントレベルの回帰目的を組み合わせたマルチタスク損失を用いてエンドツーエンドで学習される。

実験結果

リサーチクエスチョン

• RQ1 局所的およびグローバルな時間的依存関係の共同モデル化が、時間的アクション候補の品質向上に寄与するか？
• RQ2 フレームレベルの境界回帰とセグメントレベルのコンテキスト回帰を組み合わせることで、より正確かつ信頼性の高い候補が得られるか？
• RQ3 チャネルグループ化されたエンコーダー・アーキテクチャが、局所的詳細の保持とグローバルコンテキストの把握の両立を効果的に実現できるか？
• RQ4 提案手法は、最先端のベースラインと比較して、候補品質および検出性能において優れているか？
• RQ5 長時間の未編集動画における、提案手法の効率性およびスケーラビリティはいかがなものか？

主な発見

• TCANetはHACSデータセットで55.60%のmAPを達成し、すべてのベースラインを上回り、CVPR 2020 HACSチャレンジで1位を獲得した。
• ActivityNet-v1.3では、IoU=0.5の条件下でmAPが55.60%に達し、複数のベンチマークにわたる強力な一般化性能を示した。
• 提案数が少ない状況でも平均再現率（AR）が著しく向上し、少ない提案数でも高品質な候補が得られることを示した。
• アブレーションスタディの結果、4つのLGTEブロックが性能を最大化したが、大多数の実験では2つで十分な性能が得られた。
• 9分間の動画1件あたり20.9msの推論速度を達成し、BMNが要する時間の10%にまで短縮された。これは、高い効率性を示している。
• 可視化により、GTE単体と比較して、LGTEが滑らかでより正確な境界確率シーケンスを生成することが確認され、ノイズ低減と局所化精度向上が実現された。