[論文レビュー] STEP: Spatio-Temporal Progressive Learning for Video Action Detection

Xitong Yang, Xiaodong Yang+4 more|arXiv (Cornell University)|Apr 19, 2019

Human Pose and Action Recognition参考文献 35被引用数 4

ひとこと要約

本論文は、空間的精錬と適応的時間的延長を通じて初期の少数の候補を段階的に改善する、動画アクション検出のための空間時間的プログレッシブ学習フレームワークであるSTEPを提案する。段階的な局所化の向上と長距離の文脈の統合により、UCF101では75.0%、AVAでは18.6%のSOTA mAPを達成した。1つのGPUで21 fpsで動作する。

ABSTRACT

In this paper, we propose Spatio-TEmporal Progressive (STEP) action detector---a progressive learning framework for spatio-temporal action detection in videos. Starting from a handful of coarse-scale proposal cuboids, our approach progressively refines the proposals towards actions over a few steps. In this way, high-quality proposals (i.e., adhere to action movements) can be gradually obtained at later steps by leveraging the regression outputs from previous steps. At each step, we adaptively extend the proposals in time to incorporate more related temporal context. Compared to the prior work that performs action detection in one run, our progressive learning framework is able to naturally handle the spatial displacement within action tubes and therefore provides a more effective way for spatio-temporal modeling. We extensively evaluate our approach on UCF101 and AVA, and demonstrate superior detection results. Remarkably, we achieve mAP of 75.0% and 18.6% on the two datasets with 3 progressive steps and using respectively only 11 and 34 initial proposals.

研究の動機と目的

• 空間時間的アクション検出におけるアクションチューブの空間的ずれの課題に対処すること。
• 時間的モデリングの効率性と正確性を、時間軸に沿って提案系列を適応的に延長することで向上させること。
• 数千個の密なアンカーではなく、ほんの数個の初期候補のみを用いることで計算コストを低減すること。
• 1ショット検出手法を上回るエンドツーエンドのプログレッシブ最適化フレームワークを開発すること。
• 反復的精錬により、多様なアクションスケールと運動パターンに対しても頑健な検出を可能にすること。

提案手法

• 粗いスケールの候補ボクシッドから開始する複数段階の最適化プロセスを採用する。
• 空間的精錬は、前段階の回帰出力を用いてボクシッドを反復的に更新し、動く被験者をよりよく追跡する。
• 時間的延長は、各段階で入力系列の長さを適応的に延長し、長距離の文脈を組み込む。
• 空間時間的表現を向上させるために、RGBとオプティカルフロー特徴の早期融合を活用する。
• 提案は順次精錬され、各段階が直前の段階の出力を入力として使用するため、段階的な局所化精度が向上する。
• フレームワークはエンドツーエンドで訓練され、精度と効率のバランスを取るプログレッシブ学習戦略により最適化される。

実験結果

リサーチクエスチョン

• RQ1 反復的精錬により、段階的な学習フレームワークが空間時間的アクション検出を改善できるか？
• RQ2 適応的時間的延長は、空間的ずれを扱いながら分類精度をどのように向上させるか？
• RQ3 わずか少数の初期候補でのみ高い検出性能を達成できるか？
• RQ4 段階的精錬は、精度と効率の両面で1ショット検出を上回るか？
• RQ5 空間的ずれが時間経過で顕著なアクションチューブは、このフレームワークがどのように処理するか？

主な発見

• UCF101では75.0%のフレーム-mAPを達成し、2番目に良い手法よりも5.5%の向上を示した。
• AVAでは18.6%のフレーム-mAPを達成し、以前のSOTA手法であるACRNを1.2%上回った。
• 11個の初期候補と3段階の処理で21 fpsで動作し、フレームベース手法（4 fps）を上回り、クリップベースのベースライン（23 fps）と同等の速度を達成した。
• 段階的精錬プロセスにより誤分類が顕著に減少し、定量的結果で青色（誤り）のボックスが段階を経て消失したことが示された。
• 空間的精錬は提案を被験者に向かって効果的に移動させ、図8で示されるように多様なアクションスケールにおける局所化精度を向上させた。
• 初期候補の数を増やすことで精度は向上するが、推論速度が低下するため、速度と性能の制御可能なトレードオフが示された。