[論文レビュー] A Self-Adaptive Proposal Model for Temporal Action Detection based on Reinforcement Learning

Jingjia Huang, Nannan Li+2 more|arXiv (Cornell University)|Jun 22, 2017

Human Pose and Action Recognition参考文献 16被引用数 4

ひとこと要約

本論文では、深層強化学習（DRL）を用いてエージェントが時間窓を動的に調整することで、反復的にアクション候補を精錬する自己適応型時系列アクション検出モデルを提案する。時間プーリングと回帰精錬を組み合わせた深層Qネットワーク（DQN）エージェントを活用することで、THUMOS 14で27.7%のmAPを達成し、1動画あたり平均67個の候補という、ベースライン手法よりも顕著に少ない数に抑えることに成功した。これは、高い効率性と正確性を示している。

ABSTRACT

Existing action detection algorithms usually generate action proposals through an extensive search over the video at multiple temporal scales, which brings about huge computational overhead and deviates from the human perception procedure. We argue that the process of detecting actions should be naturally one of observation and refinement: observe the current window and refine the span of attended window to cover true action regions. In this paper, we propose an active action proposal model that learns to find actions through continuously adjusting the temporal bounds in a self-adaptive way. The whole process can be deemed as an agent, which is firstly placed at a position in the video at random, adopts a sequence of transformations on the current attended region to discover actions according to a learned policy. We utilize reinforcement learning, especially the Deep Q-learning algorithm to learn the agent's decision policy. In addition, we use temporal pooling operation to extract more effective feature representation for the long temporal window, and design a regression network to adjust the position offsets between predicted results and the ground truth. Experiment results on THUMOS 2014 validate the effectiveness of the proposed approach, which can achieve competitive performance with current action detection algorithms via much fewer proposals.

研究の動機と目的

• 長時間のトリムされていない動画における従来のスライディングウィンドウベースのアクション候補生成の高い計算コストを低減すること。
• アクション検出を、人間の知覚を模倣するような逐次的で観測と精錬のプロセスとしてモデル化すること。
• 候補数を削減しながらも、検出の正確性を維持または向上させること。
• アクションを適応的かつ効率的に特定するための強化学習エージェントを構築すること。
• 時間的プーリングと回帰を統合することで、特徴表現の向上と局所化精度の向上を図ること。

提案手法

• エージェントは、時間窓の調整に用いる行動（例：拡大、縮小、ジャンプ）を選択する方策を学習するため、深層Qネットワーク（DQN）を用いる。
• エージェントは動画内のランダムなウィンドウから開始し、DQNの方策に基づいて反復的に境界を調整することで、真のアクションセグメントに収束させる。
• 長時間の動画セグメントからの特徴を強固に抽出するため、時間的プーリングを適用し、長距離の文脈情報を向上させる。
• 予測された候補境界を微調整するための回帰ネットワークを活用し、予測値と真値のずれを低減する。
• 非情報的な領域から脱出するのを支援し、局所的最適解に陥るのを防ぐために、「ジャンプ」行動を導入する。
• 予測候補と真値候補のIoUに基づく密度の高い報酬を用いて、強化学習によりエンドツーエンドでモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 強化学習エージェントは、総当たり的なスライディングウィンドウではなく、逐次的で適応的な精錬プロセスを通じて、高品質なアクション候補を学習できるか？
• RQ2 時間的プーリングの統合は、アクション検出における長時間の動画セグメントの特徴表現をどのように向上させるか？
• RQ3 DQNを用いたエンドツーエンド訓練により、検出性能を維持しつつ、どれほど候補数を削減できるか？
• RQ4 回帰ヘッドの追加は、自己適応的候補生成プロセスにおける局所化精度をどの程度向上させるか？
• RQ5 時間的プーリングや回帰などの部品のアブレーション効果は、全体の検出性能にどのような影響を与えるか？

主な発見

• 提案手法は、THUMOS 14データセットで1動画あたり平均67個の候補で27.7%のmAPを達成し、より多くの候補を生成する手法を上回った。
• アブレーションスタディの結果、時間的プーリングを削除すると性能が低下し、長距離の文脈を捉える重要性が示された。
• 回帰ヘッドは検出の正確性を顕著に向上させた。回帰を備えたモデルは、回帰なしのモデルよりも高いmAPを達成した。
• Ours-POOLINGは低候補数でのリ콜が高かったが、全体のモデル（Ours）はより少ない誤検出のため、最高のmAPを達成した。
• Tesla K80で50.4 FPSの実行速度を達成しており、自己適応的探索プロセスにもかかわらず、強力な計算効率を示している。