[論文レビュー] AdaFrame: Adaptive Frame Selection for Fast Video Recognition

Zuxuan Wu, Caiming Xiong+3 more|arXiv (Cornell University)|Nov 29, 2018

Multimodal Machine Learning Applications参考文献 41被引用数 16

ひとこと要約

AdaFrame は、高速な動画認識のための情報量の多い動画フレームを適応的に選択する強化学習ベースのフレーム選択フレームワークを提案する。LSTM とグローバルメモリを用いてフレーム選択をガイドし、ポリシー勾配学習を実施することで、FCVID および ActivityNet でそれぞれ 8.21 フレームおよび 8.65 フレームの平均で最先端の精度を達成し、計算量を最大 90.6% 減少させつつ性能を維持する。

ABSTRACT

We present AdaFrame, a framework that adaptively selects relevant frames on a per-input basis for fast video recognition. AdaFrame contains a Long Short-Term Memory network augmented with a global memory that provides context information for searching which frames to use over time. Trained with policy gradient methods, AdaFrame generates a prediction, determines which frame to observe next, and computes the utility, i.e., expected future rewards, of seeing more frames at each time step. At testing time, AdaFrame exploits predicted utilities to achieve adaptive lookahead inference such that the overall computational costs are reduced without incurring a decrease in accuracy. Extensive experiments are conducted on two large-scale video benchmarks, FCVID and ActivityNet. AdaFrame matches the performance of using all frames with only 8.21 and 8.65 frames on FCVID and ActivityNet, respectively. We further qualitatively demonstrate learned frame usage can indicate the difficulty of making classification decisions; easier samples need fewer frames while harder ones require more, both at instance-level within the same class and at class-level among different categories.

研究の動機と目的

• 入力動画ごとに関連するフレームのみを選択することで、動画認識における計算コストを低減し、精度を損なわないようにすること。
• フレームの重要性が明示的にラベル付けされていない弱教師あり動画分類の課題に対処すること。
• 動画の複雑さや分類の難易度に応じて動的に変化する、入力に依存するフレーム使用ポリシーを学習すること。
• 将来のフレーム観測の価値を予測することで、推論時に適応的に行えるようにすること。
• フレーム使用がクラス間およびクラス内での認識難易度と相関していることを示すこと。

提案手法

• AdaFrame は、ダウンサンプリングされた動画フレームからのコンテキストを格納するグローバルメモリモジュールを備えたLSTMネットワークを採用し、フレーム選択をガイドする。
• モデルはポリシー勾配強化学習を用いてフレーム選択ポリシーを学習し、各フレーム追加ごとに信頼度を向上させる報酬関数を最大化する。
• 各時刻ステップでエージェントは次に観測するフレームを予測し、分類出力を生成し、継続的な推論の将来の期待価値を計算する。
• 推論時、モデルは予測された価値スコアを活用して停止タイミングを決定し、計算量を削減するための適応的で前方予測可能な推論を実現する。
• グローバルメモリは固定数のダウンサンプリングフレームから構築され、アブレーション実験により、16 フレームが精度とオーバーヘッドのトレードオフにおいて最適であると判明した。
• 時間経過に伴う正解クラスの信頼度の向上を測定する新しい報酬関数を採用し、情報量の多いフレームの選択を促進する。

実験結果

リサーチクエスチョン

• RQ1 強化学習エージェントは、多様な動画入力に対して高い認識精度を維持する最小限のフレーム集合を学習できるか？
• RQ2 グローバルメモリの導入は、弱教師あり動画認識におけるフレーム選択ポリシー学習をどの程度向上させるか？
• RQ3 フレーム使用は、動画分類タスクの内在的難易度とどの程度相関しているか？
• RQ4 予測された価値に基づく適応的推論は、固定またはエントロピーに基づく停止基準を上回る性能を示せるか？
• RQ5 大規模ベンチマークにおいて、AdaFrame の性能は均一サンプリングや他のフレーム選択ベースラインと比べてどうか？

主な発見

• AdaFrame は FCVID および ActivityNet の両ベンチマークで最先端の平均平均精度（mAP）を達成し、それぞれ平均 8.21 フレームおよび 8.65 フレームで、均一サンプリングのベースラインを同等または上回る。
• FCVID および ActivityNet では、均一サンプリングと比較して平均で 58.9% および 63.3% の計算コスト削減を達成し、ピークでは最大 90.6% の削減を実現した。
• 分類の難易度に応じてフレーム使用量はクラス間および同一クラス内でも顕著に変動し、カメラの動きやごみだらけの背景を持つ動画（難易度の高いサンプル）は正しく分類するためのフレーム数が増加する傾向にある。
• AdaFrame は、しばしば過去の情報を再表現するために時間軸を後退する（FCVID では 42.8% の動画で観測）ことで、効果的な時系列推論を示している。
• アブレーションスタディにより、グローバルメモリが性能向上に寄与しており、16 フレームが精度とオーバーヘッドのトレードオフにおいて最適であると確認された。
• 現在の予測信頼度や遷移差分に基づく報酬関数と比較して、時間経過に伴う信頼度上昇を測定する本手法の報酬関数が優れた性能を示した。