[論文レビュー] LAP-Net: Adaptive Features Sampling via Learning Action Progression for Online Action Detection

Sanqing Qu, Guang Chen+4 more|arXiv (Cornell University)|Nov 16, 2020

Human Pose and Action Recognition参考文献 24被引用数 12

ひとこと要約

LAP-Net は、学習された行動進行に基づいて補助特徴を適応的にサンプリングする、オンライン行動検出のための新規フレームワークを提案する。Gumbel-Softmax を用いて、各時刻ステップで過去または未来の最適な時間範囲を微分可能に選択する。TVSeries、THUMOS-14、HDD において、行動段階に応じた動的特徴サンプリングを活用することで、強化学習を用いないエンド・ツー・エンド学習により、最先端の mAP スコアを達成し、最先端の性能を顕著に上回る。

ABSTRACT

Online action detection is a task with the aim of identifying ongoing actions from streaming videos without any side information or access to future frames. Recent methods proposed to aggregate fixed temporal ranges of invisible but anticipated future frames representations as supplementary features and achieved promising performance. They are based on the observation that human beings often detect ongoing actions by contemplating the future vision simultaneously. However, we observed that at different action progressions, the optimal supplementary features should be obtained from distinct temporal ranges instead of simply fixed future temporal ranges. To this end, we introduce an adaptive features sampling strategy to overcome the mentioned variable-ranges of optimal supplementary features. Specifically, in this paper, we propose a novel Learning Action Progression Network termed LAP-Net, which integrates an adaptive features sampling strategy. At each time step, this sampling strategy first estimates current action progression and then decide what temporal ranges should be used to aggregate the optimal supplementary features. We evaluated our LAP-Net on three benchmark datasets, TVSeries, THUMOS-14 and HDD. The extensive experiments demonstrate that with our adaptive feature sampling strategy, the proposed LAP-Net can significantly outperform current state-of-the-art methods with a large margin.

研究の動機と目的

• オンライン行動検出における補助特徴の固定時間範囲の制限を解消し、行動段階が異なる際のモデルの誤解を回避すること。
• 推論中に行動進行を動的にモデル化し、文脈に適した特徴選択を可能にすること。
• 強化学習や報酬設計に依存しないように、離散的特徴範囲選択のための微分可能サンプリング（Gumbel-Softmax）を用いること。
• 現在の行動段階に応じた特徴集約の適応により、リアルタイム動画ストリームにおける検出精度を向上させること。

提案手法

• LAP-Net は、各時刻ステップで行動進行を推定するための専用の進行ヘッドを備えた、行動進行学習ネットワークを導入する。
• 離散的時間範囲の分布からの微分可能サンプリングに、Gumbel-Softmax テクニックを用いる。
• 推定された行動進行段階に応じて、過去に観測した特徴または将来を予測した特徴を適応的に選択する。
• 選択された時間範囲からの補助特徴を、現在の特徴と統合して行動分類に用いる。
• ネットワーク全体をバックプロパゲーションによりエンド・ツー・エンドで学習し、強化学習や報酬設計を回避する。
• 動的時間範囲選択をサポートし、最適な範囲は行動段階（初期、中盤、終盤）によって変化する。

実験結果

リサーチクエスチョン

• RQ1 行動進行は、オンライン行動検出における補助特徴の最適選択にどのように影響するか？
• RQ2 行動段階に応じて過去または未来の特徴を適応的にサンプリングすることは、固定範囲集約と比較して検出性能を向上させられるか？
• RQ3 強化学習を用いずに、離散的特徴サンプリングモジュールをエンド・ツー・エンドで学習可能か？
• RQ4 異なる時間範囲サイズと進行状態空間の違いが、多様なデータセットにおけるモデル性能にどのように影響するか？

主な発見

• LAP-Net は TVSeries で 85.3% の最先端 mAP を達成し、以前の最先端手法を大きく上回る。
• THUMOS-14 では 53.3% の mAP を達成し、固定範囲サンプリングの以前の最高値 52.6% より顕著に向上した。
• HDD では 45.1% の mAP を達成し、動作速度の異なるデータセット間でも高いロバスト性を示した。
• アブレーションスタディにより、適応的特徴サンプリング戦略（AFS）が、3 つのすべてのデータセットで一貫して性能向上をもたらすことが確認された。
• 最適な時間範囲サイズはデータセットによって異なる：TVSeries では K=9、THUMOS-14 では K=7、HDD では K=3 であり、動作テンポの違いを反映している。
• 将来の行動予測においても競争力のある性能を示し、THUMOS-14 で 44.0% の mAP、TVSeries で 78.8% の mcAP を達成した。これは強力な特徴表現学習能力を示している。