[論文レビュー] CTAP: Complementary Temporal Action Proposal Generation

Jiyang Gao, Kan Chen+1 more|arXiv (Cornell University)|Jul 12, 2018

Human Pose and Action Recognition参考文献 23被引用数 16

ひとこと要約

本稿では、スライディングウィンドウ提案とアクティビティスコアベースの提案を組み合わせることで、従来手法の限界を克服する補完的時間的アクティビティプロポーザ生成手法CTAPを提案する。スライディングウィンドウからの欠落した高品質なプロポーザを特定・補填するためにプロポーザレベルのアクティビティスコア信頼性推定器（PATE）を用い、さらに時間的畳み込みネットワーク（TCN）を用いて順序を保ったままランク付けと境界調整を精緻化することで、THUMOS-14およびActivityNet 1.3で最先端の平均リCALL（AR）を達成し、mAPで4%以上、AR@100で2.6%以上の優位性を示した。

ABSTRACT

Temporal action proposal generation is an important task, akin to object proposals, temporal action proposals are intended to capture "clips" or temporal intervals in videos that are likely to contain an action. Previous methods can be divided to two groups: sliding window ranking and actionness score grouping. Sliding windows uniformly cover all segments in videos, but the temporal boundaries are imprecise; grouping based method may have more precise boundaries but it may omit some proposals when the quality of actionness score is low. Based on the complementary characteristics of these two methods, we propose a novel Complementary Temporal Action Proposal (CTAP) generator. Specifically, we apply a Proposal-level Actionness Trustworthiness Estimator (PATE) on the sliding windows proposals to generate the probabilities indicating whether the actions can be correctly detected by actionness scores, the windows with high scores are collected. The collected sliding windows and actionness proposals are then processed by a temporal convolutional neural network for proposal ranking and boundary adjustment. CTAP outperforms state-of-the-art methods on average recall (AR) by a large margin on THUMOS-14 and ActivityNet 1.3 datasets. We further apply CTAP as a proposal generation method in an existing action detector, and show consistent significant improvements.

研究の動機と目的

• 従来の時間的アクティビティプロポーザ生成手法の限界、すなわちスライディングウィンドウ手法の不正確な境界やアクティビティスコアが低い場合の有効なプロポーザの欠落（アクティビティスコアグループ化）を解消すること。
• スライディングウィンドウとアクティビティスコアベース手法の補完的利点を活用すること：ランク付けにおけるグローバルな文脈と、細粒度の境界精度。
• スライディングウィンドウから高品質で補完的となるプロポーザを適応的に選別し、アクティビティスコアベース手法の欠落を補填する手法の開発。
• 現実的な動画データセットにおける、見出しと未見のアクティビティクラスの両方における平均リCALL（AR）と一般化性能の向上。

提案手法

• 本手法は、スライディングウィンドウプロポーザとアクティビティスコアベースプロポーザを生成する初期プロポーザ生成器から出発する。
• 各プロポーザがアクティビティスコアによって正しく検出可能である信頼性を評価するため、プロポーザレベルのアクティビティスコア信頼性推定器（PATE）を適用し、低信頼度プロポーザをフィルタリングする。
• 両ソースからの高信頼度プロポーザを統合し、時間的畳み込みニューラルネットワーク（TCN）を用いて順序を保持したままランク付けと時間的境界を精緻化する。
• TCNは単純な時間的プーリングに代わるものであり、時間的ダイナミクスのより良いモデリングを可能にし、境界局所化性能を向上させる。
• 最終的なCTAPモデルは、PATEによるフィルタリングとTCNベースの精緻化を組み合わせ、最小限のプロポーザ数でリCALLを最大化する。
• 本手法はTHUMOS-14およびActivityNet 1.3でエンドツーエンドで評価され、さらに標準的なアクティビティ検出パイプラインでも検証された。

実験結果

リサーチクエスチョン

• RQ1 スライディングウィンドウとアクティビティスコアベースのプロポーザを統合することで、時間的アクティビティプロポーザ生成における平均リCALLを向上させることができるか？
• RQ2 スライディングウィンドウから、アクティビティスコアベース手法の欠落を是正する高品質で補完的となるプロポーザを効果的に特定・選別する方法は何か？
• RQ3 時間的畳み込みネットワーク（TCN）は、単純なプーリングに比べて、プロポーザのランク付けと境界調整においてどの程度優れているか？
• RQ4 本手法は、ActivityNet 1.3のような長尾分布データセットにおける未見のアクティビティクラスに対しても、十分に一般化できるか？
• RQ5 既存のアクティビティ検出パイプラインにCTAPを統合することで、一貫した性能向上が得られるか？

主な発見

• THUMOS-14のテストセットでは、CTAPはmAP@tIoU=0.5で29.9%を達成し、以前の最先端手法TURNを4.3ポイント上回った。
• ActivityNet 1.3では、AR@100が73.17%、AUCが65.72%を記録し、最先端手法Prop-SSADをそれぞれ2.60%、1.32%上回った。
• アブレーションスタディにより、PATEフィルタリングが性能向上に顕著に寄与することが確認され、CTAPはAR@100およびAUCにおいてSW-TARおよびTAG-TARベースラインを上回った。
• 一般化評価では、未見のアクティビティクラスにおける性能低下が僅か（AR@100：74.06% → 72.51%）に抑えられ、高いロバストネスを示した。
• 標準アクティビティ検出器（SCNN）に統合した場合、CTAPは一貫して検出性能を向上させ、実世界の検出パイプラインにおける有効性を実証した。