[論文レビュー] Action Temporal Localization in Untrimmed Videos via Multi-stage CNNs.

Zheng Shou, Dongang Wang+1 more|arXiv (Cornell University)|Jan 9, 2016

Human Pose and Action Recognition参考文献 35被引用数 30

ひとこと要約

本論文は、未編集動画におけるアクション時系列局所化のためのマルチステージ3次元CNNフレームワークを提案する。提案手法は、アノテーション、分類、局所化の3段階を経て、新規の重複に強い損失関数を用いる。本手法は最先端の性能を達成し、mAPがMEXaction2で7.4%、THUMOS 2014で19.0%向上した（0.5 IoU閾値）。

ABSTRACT

We address action temporal localization in untrimmed long videos. This is important because videos in real applications are usually unconstrained and contain multiple action instances plus video content of background scenes or other activities. To address this challenging issue, we exploit the effectiveness of deep networks in action temporal localization via multi-stage segment-based 3D ConvNets: (1) a proposal stage identifies candidate segments in a long video that may contain actions; (2) a classification stage learns one-vs-all action classification model to serve as initialization for the localization stage; and (3) a localization stage fine-tunes on the model learnt in the classification stage to localize each action instance. We propose a novel loss function for the localization stage to explicitly consider temporal overlap and therefore achieve high temporal localization accuracy. On two large-scale benchmarks, our approach achieves significantly superior performances compared with other state-of-the-art systems: mAP increases from 1.7% to 7.4% on MEXaction2 and increased from 15.0% to 19.0% on THUMOS 2014, when the overlap threshold for evaluation is set to 0.5.

研究の動機と目的

• 背景の雑音や複数のアクティビティが混在する長時間の未編集動画において、複数のアクションインスタンスを局所化する課題に対処すること。
• 従来の手法が制約付き動画データにおける時間的曖昧さや重複するアクションセグメントの処理に課題を抱えるのを克服すること。
• トレーニング時に時間的重複を明示的にモデル化することで、局所化精度を向上させること。
• 段階的でスケーラブルなディープラーニングパイプラインを構築し、段階的にアクション局所化を精緻化すること。
• アクション時系列局所化のための大規模ベンチマークで最先端の性能を達成すること。

提案手法

• 長時間の未編集動画から3次元ConvNetsを用いて候補となるアクションセグメントを生成するプロポーザル段階を採用する。
• 候補セグメント上でワン・フォアズ・オール分類モデルをトレーニングし、初期化のための分類段階を実施する。
• 分類モデルを微調整して時間的境界の正確性を向上させる局所化段階を適用する。
• 予測されたセグメントと真値セグメントの間の時間的重複が低い場合に明示的にペナルティを与える、新規の損失関数を導入する。
• 長時間の動画シーケンスにわたる空間的・時間的特徴を捉えるためにマルチステージ3次元ConvNetsを活用する。
• 予測されたアクション境界と真値境界のIoU（共通部分比）を高めるように最適化することで、局所化段階を最適化する。

実験結果

リサーチクエスチョン

• RQ1 単一段階アプローチと比較して、マルチステージ3次元CNNフレームワークは未編集動画におけるアクション時系列局所化精度を向上させることができるか？
• RQ2 時間的IoUを明示的にモデル化することで、時間的重複に強い損失関数は、局所化の精度をどの程度向上させることができるか？
• RQ3 プロポーザル→分類→局所化の段階的トレーニングパイプラインは、エンドツーエンド手法と比較して、ベンチマークデータセットでどの程度優れた性能を示すか？
• RQ4 提案手法は、多様なアクションカテゴリや背景アクティビティを含む長時間の動画シーケンスにおいても一般化可能か？
• RQ5 標準の評価閾値（0.5 IoU）下で、MEXaction2やTHUMOS 2014といった標準ベンチマークで、どの程度の性能向上が達成可能か？

主な発見

• IoU閾値が0.5に設定されたMEXaction2ベンチマークにおいて、提案手法はmAPで7.4%の絶対的向上を達成した。
• THUMOS 2014ベンチマークにおいても、同じIoU閾値下でmAPが19.0%向上した。これは、強い一般化性能を示している。
• マルチステージパイプラインは、ベースライン手法と比較して誤検出を著しく低減し、境界の局所化精度を向上させた。
• 新規の損失関数は、時間的重複を明示的に最適化することで、局所化性能を顕著に向上させた。
• 両大規模ベンチマークにおいて、既存の最先端手法を上回る性能を示し、本手法の有効性を確認した。
• 分類段階が強力な初期化を提供しており、これにより局所化段階での収束がより速く、より正確に実現された。