[論文レビュー] Temporal Action Localization in Untrimmed Videos via Multi-stage CNNs

Zheng Shou, Dongang Wang+1 more|arXiv (Cornell University)|Jan 9, 2016

Human Pose and Action Recognition被引用数 175

ひとこと要約

この論文は、3D ConvNetsを用いた提案、分類、および局在ネットワークからなる Segment-CNN フレームワークを導入し、未加工動画内のアクションを局在させることで、MEXaction2と THUMOS 2014 における顕著な mAP 増加を達成している。

ABSTRACT

We address temporal action localization in untrimmed long videos. This is important because videos in real applications are usually unconstrained and contain multiple action instances plus video content of background scenes or other activities. To address this challenging issue, we exploit the effectiveness of deep networks in temporal action localization via three segment-based 3D ConvNets: (1) a proposal network identifies candidate segments in a long video that may contain actions; (2) a classification network learns one-vs-all action classification model to serve as initialization for the localization network; and (3) a localization network fine-tunes on the learned classification network to localize each action instance. We propose a novel loss function for the localization network to explicitly consider temporal overlap and therefore achieve high temporal localization accuracy. Only the proposal network and the localization network are used during prediction. On two large-scale benchmarks, our approach achieves significantly superior performances compared with other state-of-the-art systems: mAP increases from 1.7% to 7.4% on MEXaction2 and increases from 15.0% to 19.0% on THUMOS 2014, when the overlap threshold for evaluation is set to 0.5.

研究の動機と目的

• 未加工の長い動画に含まれる複数のアクションインスタンスと背景コンテンツを含む時系列アクション局在を扱う。
• 多段階の3D ConvNetsを活用して、アクションを提案、分類、そして時間軸上で正確に局在させる。
• ground truth との IoU を考慮した新しい損失により時系列局在の精度を向上させる。
• 分類で初期化された局在ネットワークが、分類のみの場合よりも境界を改善することを示す。
• 大規模ベンチマークにおいて最先端と比較して効率と精度の改善を示す。

提案手法

• 未加工動画からスライディングウィンドウを用いて候補セグメントを作成することでマルチスケールのセグメント生成を行う。
• 背景 vs. アクションを区別する提案ネットワークを用いて、ありそうにないセグメントをフィルタリングする。
• K アクションカテゴリの分類ネットワークを訓練して局在化を初期化する。
• より高い IoU を ground truth に対して持つセグメントに対してより高いスコアを奨励する損失を備えた局在化ネットワークを導入する。
• 提案ネットワークと局在化ネットワークで予測を行い、最終検出には調整された閾値で NMS を適用する。

実験結果

リサーチクエスチョン

• RQ1 マルチステージの Segment-CNN フレームワークは、従来のアプローチより未加工動画における時系列局在精度を改善できるか。
• RQ2 分類ネットワークで局在化ネットワークを初期化し、重なりを考慮した損失を使用することで IoU に合わせたアクション境界が改善されるか。
• RQ3 マルチスケールのセグメント提案、背景のフィルタリング、NMS は最終的な局在性能にどのように影響するか。
• RQ4 局在化損失のパラメータと α のべき乗が訓練の安定性と精度に与える影響はどのようか。

主な発見

• Segment-CNN は MEXaction2 での mAP を 1.7% から 7.4% に大幅に改善した。
• THUMOS 2014 では IoU 閾値 0.5 において mAP を 15.0% から 19.0% に改善した。
• 提案ネットワークは背景セグメントをフィルタリングし、精度と効率を向上させる。
• 重なりを考慮した損失を用いる局在化ネットワークは、ground-truth との重なりが大きいセグメントをより優先的に評価する。
• 分類の事前訓練は局在化の初期化に有益で、分類なしの場合より良い結果をもたらす。
• 本手法はバッチあたり約1秒程度で動作し、GPU メモリ要求も控えめで高次元特徴のキャッシュを必要としない。