[論文レビュー] TURN TAP: Temporal Unit Regression Network for Temporal Action Proposals

Jiyang Gao, Zhenheng Yang+3 more|arXiv (Cornell University)|Mar 17, 2017

Human Pose and Action Recognition被引用数 63

ひとこと要約

TURN TAP は、開始/終了ユニットを回帰することで時間的アクション提案を生成する高速なエンドツーエンドの Temporal Unit Regression Network を提案し、最先端の TAP 性能と高速推論を実現するとともに、時間的アクションの局在化パイプラインを改善します。

ABSTRACT

Temporal Action Proposal (TAP) generation is an important problem, as fast and accurate extraction of semantically important (e.g. human actions) segments from untrimmed videos is an important step for large-scale video analysis. We propose a novel Temporal Unit Regression Network (TURN) model. There are two salient aspects of TURN: (1) TURN jointly predicts action proposals and refines the temporal boundaries by temporal coordinate regression; (2) Fast computation is enabled by unit feature reuse: a long untrimmed video is decomposed into video units, which are reused as basic building blocks of temporal proposals. TURN outperforms the state-of-the-art methods under average recall (AR) by a large margin on THUMOS-14 and ActivityNet datasets, and runs at over 880 frames per second (FPS) on a TITAN X GPU. We further apply TURN as a proposal generation stage for existing temporal action localization pipelines, it outperforms state-of-the-art performance on THUMOS-14 and ActivityNet.

研究の動機と目的

• 長尺の未トリミング動画における Temporal Action Proposals (TAP) の効率的で正確な生成を動機付ける。
• 境界を意識した TAP フレームワークを導入し、回帰によって時間境界を refin e する。
• クリップベースの提案を構築するためにユニットレベル特徴を再利用して計算量を削減する。
• 提案段階として TURN の有効性を示し、時間的アクション局在化を促進する。
• ファインチューニングなしでデータセット間（THUMOS-14、ActivityNet）での汎化能力を示す。

提案手法

• ビデオを重複しないユニット窓に分解し、ユニットレベル特徴を抽出する（例：C3D、Flow CNN）。
• クリップ前後の文脈を含む複数の時間スケールで連続ユニットをプーリングしてクリップピラミッドを作成する。
• 各クリップを提案候補として扱い、開始/終了ユニットインデックスの信頼度スコアと2つの回帰オフセットを出力する。
• 正例クリップに対してソフトマックス分類と L1 座標回帰を組み合わせた多タスク損失で訓練する。
• スコアリング/回帰後に非極大抑制（NMS）を用いて冗長な提案を除去する。
• 新しい AR-F 指標（Recall vs Proposal Frequency）を用いて TAP の品質を評価し、AR-N/AR-AN 指標と比較する。

実験結果

リサーチクエスチョン

• RQ1 ユニットレベルの時間境界回帰は、速度を犠牲にすることなく TAP の精度を向上させるか？
• RQ2 temporal context を備えたマルチスケールのクリップピラミッドは TAP のリコールと局在化性能を向上させるか？
• RQ3 TURN は微調整なしで異なるアクションデータセットとサブセットに対してどの程度汎化するか？
• RQ4 AR-F はデータセット間の TAP 比較において AR-AN や AR-N より信頼性の高い評価指標となるか？
• RQ5 既存の時間的アクション局在化パイプラインにおける提案段階として TURN の影響はどの程度か？

主な発見

• TURN は THUMOS-14 および ActivityNet で AR-F および AR-AN の下で最先端の TAP 性能を達成する。
• C3D 特徴を用いた場合は 880 FPS を超え、Flow CNN 特徴では TITAN X GPU 1 台で 260 FPS を実現する。
• ユニットレベルの時間座標回帰は境界をフレームレベルや回帰なしよりも良く洗練させ、特に時間的文脈と組み合わせると効果が高い。
• TURN は ActivityNet のサブセット間および THUMOS-14 へのデータセット特異的なファインチューニングなしで良好に汎化する。
• TURN 提案を用いると S-CNN や SVM 分類器と組み合わせた場合に THUMOS-14 での時間的局在化 mAP が向上する。
• TURN は新しい AR-F 指標を提案しており、ビデオ長に対する局在化性能との相関が高く（mAP との相関約 0.9 以上）、長さを超えて高相関を維持する。