[論文レビュー] Budget-Aware Activity Detection with A Recurrent Policy Network

Behrooz Mahasseni, Xiaodong Yang+2 more|arXiv (Cornell University)|Nov 30, 2017

Human Pose and Action Recognition参考文献 24被引用数 4

ひとこと要約

本論文は、時間制約のもとでフレームを戦略的に選択することで、長時間の未編集動画における効率的な時系列アクティビティ検出を実現する、予算に配慮したエンドツーエンドの再帰的方策ネットワークを提案する。フレーム選択をマルコフ決定過程として定式化し、方策勾配最適化を用いることで、ActivityNetで21.5のmAPを達成しつつ、1動画あたり0.35秒という、先行手法と比べて桁違いに高速な処理時間を実現した。mAPという非微分可能で分解不能な評価指標を直接最適化することで、分解された損失関数を用いることなく、性能を向上させた。

ABSTRACT

In this paper, we address the challenging problem of efficient temporal activity detection in untrimmed long videos. While most recent work has focused and advanced the detection accuracy, the inference time can take seconds to minutes in processing each single video, which is too slow to be useful in real-world settings. This motivates the proposed budget-aware framework, which learns to perform activity detection by intelligently selecting a small subset of frames according to a specified time budget. We formulate this problem as a Markov decision process, and adopt a recurrent network to model the frame selection policy. We derive a recurrent policy gradient based approach to approximate the gradient of the non-decomposable and non-differentiable objective defined in our problem. In the extensive experiments, we achieve competitive detection accuracy, and more importantly, our approach is able to substantially reduce computation time and detect multiple activities with only 0.35s for each untrimmed long video.

研究の動機と目的

• 畳み込みニューラルネットワーク（CNN）の全フレームに対する網羅的推論が必要なため、1動画あたり数秒から数分もかかる既存の時系列アクティビティ検出手法の非効率性を是正すること。
• 厳密な時間的・計算的予算制約のもとで、リアルタイムかつオンデバイスでの動画分析を可能にすること。
• 提案と分類の段階を分離せずに、フレーム選択と検出を統合的に最適化するエンドツーエンドのフレームワークを構築すること。
• 標準的な評価基準である非微分可能で分解不能なmAP指標を、学習の目的関数として直接最適化すること。
• 全フレームを処理するのではなく、時間予算に基づいて情報量の多いフレームのみを知的に選択することで、計算コストを低減すること。

提案手法

• フレーム選択をマルコフ決定過程（MDP）として定式化し、方策が各ステップでどのフレームを抽出・分析するかを決定する。
• 長短期記憶（LSTM）に基づく再帰的方策ネットワークを用いて、フレーム選択の逐次的意思決定プロセスをモデル化する。
• 平均平均精度（mAP）に基づく、分解不能で非微分可能な目的関数を定義し、最終的な評価指標を直接最適化する。
• 強化学習を用いた方策勾配法により、mAP目的関数の勾配を近似し、エンドツーエンドの学習を可能にする。
• 各ステップで、局所的なフレーム近傍を観測し、セグメントの開始・終了時刻とクラスを予測し、次に観測するフレームを選択する。
• CNNによるフレーム特徴抽出、フレーム間差分に基づく動きの特徴、方策推論を統合した、単一で効率的なパイプラインを構築する。

実験結果

リサーチクエスチョン

• RQ1 強化学習に基づく方策ネットワークは、高い精度を維持しつつ、時系列アクティビティ検出における推論時間を著しく短縮できるか？
• RQ2 目的関数としてmAPを直接最適化することと、代理損失や分解可能損失を用いる場合とを比較すると、フレーム選択においてどのような差が生じるか？
• RQ3 厳密な時間予算のもとで、1つの統合モデルが複数のアクティビティクラスをエンドツーエンドで処理できる限界はどの程度か？
• RQ4 ポリシーのステップ数（すなわち、フレーム選択の回数）を増やすことで、時間制約が異なる条件下で検出精度にどのような影響を与えるか？
• RQ5 大規模データセット上でのスピードと精度のトレードオフにおいて、本手法はスライディングウィンドウ法および2段階アプローチを上回る性能を示せるか？

主な発見

• 本手法は、ActivityNetにおいてα=0.5の条件下で21.5のmAPを達成し、R-C3D や CDC といった最先端手法を上回った。1動画あたりの推論時間はわずか0.35秒にまで短縮された。
• UTS16（930秒以上）や CDC（930秒以上）といった先行手法と比較して、計算時間は桁違いに短縮されたが、競争力のある精度を維持した。
• 方策ネットワークは総処理時間の9.4％しか消費せず、高い効率性を示した。一方で、特徴抽出が全体の80.1％を占めており、フレーム選択の重要性が浮き彫りになった。
• THUMOS14では、20のクラス中15クラスでバイナリ glimpses モデル [Yeung et al., 2016] を上回り、全体のmAPは5.3％高い結果を達成した。これは、統合的マルチクラスモデルであるにもかかわらず顕著な性能向上を示している。
• ポリシーのステップ数を6から30に増やす（時間は0.35秒から1.59秒に増加）ことで、α=0.5の条件下でmAPが2.0％向上した。これにより、追加の時間予算が精度向上に寄与することが明確に示された。
• 本手法は、最終評価指標と整合性の高い目的関数としてmAPを直接最適化する最初の手法であり、代理損失を避けることで、最終的な評価基準との整合性を高めた。