[論文レビュー] End-to-end Learning of Action Detection from Frame Glimpses in Videos

Serena Yeung, Olga Russakovsky+2 more|arXiv (Cornell University)|Nov 22, 2015

Human Pose and Action Recognition参考文献 45被引用数 38

ひとこと要約

この論文では、REINFORCEを用いて、いつどこを覗くかのポリシーを学習する、エンド・ツー・エンドの再帰的強化学習エージェントを提案する。このエージェントは、動画の時間的アクティビティ境界を、フレームを部分的に覗くことで学習する。THUMOS'14およびActivityNetにおいて、2%未満のフレームしか観測しないにもかかわらず、スライディング・ウィンドウの後処理を経ずに、直接的かつ効率的なアクティビティ境界の推論が可能であり、最先端のアクティビティ検出性能を達成している。

ABSTRACT

In this work we introduce a fully end-to-end approach for action detection in videos that learns to directly predict the temporal bounds of actions. Our intuition is that the process of detecting actions is naturally one of observation and refinement: observing moments in video, and refining hypotheses about when an action is occurring. Based on this insight, we formulate our model as a recurrent neural network-based agent that interacts with a video over time. The agent observes video frames and decides both where to look next and when to emit a prediction. Since backpropagation is not adequate in this non-differentiable setting, we use REINFORCE to learn the agent's decision policy. Our model achieves state-of-the-art results on the THUMOS'14 and ActivityNet datasets while observing only a fraction (2% or less) of the video frames.

研究の動機と目的

• スライディング・ウィンドウ推論と後処理に依存する従来のアクティビティ検出手法の非効率性と間接的なモデリングを是正すること。
• フレームレベル分類や非最大抑制を経ずに、直接的かつエンド・ツー・エンドで時間的アクティビティ境界を学習すること。
• 人間の知覚を模倣するように、観測と修正の逐次的プロセスとしてアクティビティ検出をモデリングすること。
• わずかなフレーム数しか観測しない効率的なフレーム覗きポリシーを学習することで、計算コストを低減すること。

提案手法

• モデルは、時間的に動画と相互作用する再帰的ニューラルネットワークベースのエージェントとして定式化され、次にどのフレームを観測するか、そしていつ予測を出力するかを決定する。
• 覗かれたフレームから特徴を抽出するためにビジョンエンコーダー（VGGNet）を用い、隠れ状態に基づいて意思決定を行う再帰的ポリシーネットワークを採用する。
• バックプロパゲーションが非微分可能な意思決定プロセスに適用できないため、エージェントの意思決定ポリシーは、REINFORCE（ポリシー勾配法）を用いて訓練される。
• 正確な局所化を促進するために、形状付けられた報酬関数が設計されている。真値に近い予測に対しては密集した報酬が与えられ、IoUが高いほど報酬が大きくなる。
• フレーム選択と予測出力の共同ポリシーを学習することで、無関係なフレームをスキップし、過去のフレームを再訪問して仮説を精錬することが可能になる。
• 複数の予測を許容し、動的停止を可能にするため、可変長かつ構造化された出力が可能になる。

実験結果

リサーチクエスチョン

• RQ1 スライディング・ウィンドウ推論に依存せずに、部分的にフレームを覗くことで、未加工動画内のアクティビティ境界をエンド・ツー・エンドのエージェントが学習できるか。
• RQ2 REINFORCEに基づくポリシーネットワークは、アクティビティ検出のための最適なフレーム覗きと予測戦略を学習するのにどの程度有効か。
• RQ3 わずかなフレーム数しか観測しないにもかかわらず、このようなモデルが最先端の性能を達成できるか。
• RQ4 複雑な動画における曖昧なまたは重複するアクティビティインスタンスを、モデルはどのように処理するか。
• RQ5 1パス処理と比較して、フレームを再訪問できる能力が、局所化精度をどの程度向上させるか。

主な発見

• THUMOS'14データセットにおいて、mAPが36.7に達し、ドメイン特徴（dense trajectories）とCNN特徴を用いた先行手法を上回った。
• ActivityNetの『スポーツをやっている』サブセットでは、mAPが33.2から36.7に向上し、21のクラス中13のクラスで顕著な向上を示した。
• 『仕事、主な仕事』サブセットでは、mAPが31.1から39.9に上昇し、識別性が低く、微細なアクティビティに対しても強い性能を示した。
• 平均して2%未満のフレームしか観測していないため、高い計算効率性を示した。
• 可視化により、エージェントが動きのぼやけた部分や曖昧なアクティビティに対してフレームを再訪問する学習をしたことが確認され、予測精度の向上に寄与した。
• 弱く拡散したフレームレベル特徴でも、例えば「飛び込み」のような近接して発生する2つのアクティビティインスタンスを、正常に検出できた。