[論文レビュー] Adaptive Focus for Efficient Video Recognition

Yulin Wang, Zhaoxi Chen+4 more|arXiv (Cornell University)|May 7, 2021

Human Pose and Action Recognition参考文献 59被引用数 4

ひとこと要約

本論文では、全フレームを処理するのではなく、各フレームごとにタスクに関連する小さな画像パッチを適応的に選択する強化学習ベースの方法AdaFocusを提案する。動的パッチに計算を集中させ、局所特徴を再利用することで、AR-Netなどの最先端ベースラインと比較してFLOPsを2–3倍削減しながら、5つのベンチマークデータセットで同等またはより高い精度を維持する。

ABSTRACT

In this paper, we explore the spatial redundancy in video recognition with the aim to improve the computational efficiency. It is observed that the most informative region in each frame of a video is usually a small image patch, which shifts smoothly across frames. Therefore, we model the patch localization problem as a sequential decision task, and propose a reinforcement learning based approach for efficient spatially adaptive video recognition (AdaFocus). In specific, a light-weighted ConvNet is first adopted to quickly process the full video sequence, whose features are used by a recurrent policy network to localize the most task-relevant regions. Then the selected patches are inferred by a high-capacity network for the final prediction. During offline inference, once the informative patch sequence has been generated, the bulk of computation can be done in parallel, and is efficient on modern GPU devices. In addition, we demonstrate that the proposed method can be easily extended by further considering the temporal redundancy, e.g., dynamically skipping less valuable frames. Extensive experiments on five benchmark datasets, i.e., ActivityNet, FCVID, Mini-Kinetics, Something-Something V1&V2, demonstrate that our method is significantly more efficient than the competitive baselines. Code is available at https://github.com/blackfeather-wang/AdaFocus.

研究の動機と目的

• 動画認識モデルの高い計算コストが、電力、遅延、炭素排出量の制約により実世界への導入を制限する問題に対処する。
• 動画フレーム内の空間的冗長性（認識に寄与するのはわずかな情報量のあるパッチに限られる）を活用し、計算をこれらの領域に集中させる。
• 強化学習を用いて各フレームに対して関連する空間領域を適応的に局所化する手法を開発し、精度を損なわず効率的な推論を可能にする。
• 動的フレームスキップにより、情報量の少ないフレームを無視する仕組みを統合し、時間的冗長性を併用してさらに効率を向上させる。
• TSMなどの最先端モデルと互換性を持たせ、アーキテクチャの大幅な見直しを伴わずに効率性の向上を実現する。

提案手法

• 各動画フレームから粗い低コスト特徴を抽出する軽量なグローバルConvNetを用い、ポリシー学習の入力として使用する。
• 強化学習により再帰的ポリシーネットワークを訓練し、タスクの関連性に基づいて各フレームにおける最適な空間パッチ（位置とサイズ）を決定する。
• パッチ選択と最終的な認識の両方で同じグローバル特徴を再利用することで、冗長性と計算量を削減する。
• 選択されたパッチに対してのみ高容量のローカルCNNを適用し、詳細な特徴抽出と分類を実行する。
• AdaFocus+では、情報量が少ないと思われるフレームをスキップするための追加ポリシーネットワークを導入し、空間的および時間的冗長性を併用して効率を向上させる。
• 予測の信頼度上昇を最大化するように設計されたカスタム報酬関数をRLで使用し、最も判別力のある領域を選択するようにポリシーを誘導する。

実験結果

リサーチクエスチョン

• RQ1 動画フレーム内の空間的冗長性は、精度の低下を伴わずに計算コストを削減するために効果的に活用可能か？
• RQ2 適応的パッチ選択に強化学習を用いるアプローチは、固定またはヒューリスティックなパッチ選択戦略を上回るか？
• RQ3 本手法は、情報量の少ないフレームをスキップすることで計算量をさらに削減できるか？その場合、効率性と精度にどのような影響を与えるか？
• RQ4 局所化と認識の両方でグローバル特徴を再利用することは、モデルの効率性とパフォーマンスにどのような影響を与えるか？
• RQ5 AdaFocusは、TSMのような既存の最先端モデルに対して、アーキテクチャの変更なしにどの程度効率を向上できるか？

主な発見

• AdaFocusは、AR-Netと比較してActivityNet、FCVID、Mini-Kinetics、Something-Something V1&V2で同等またはより高い精度を達成しながら、FLOPsを2–3倍削減する。
• Something-Something V1では、TSM+と同等のmAPを達成しているが、GFLOPsは1.5倍少ないため、顕著な効率向上を示している。
• GPU（NVIDIA 2080Ti）上での実用的スピードアップが顕著であり、理論的なFLOP削減とほぼ一致する推論速度を達成しており、ハードウェア効率が優れている。
• 学習されたポリシーは、固定ポリシー（例：ランダム、中央、ガウス分布）を1.5–2% mAP上回り、RLベースの適応の有効性を示している。
• グローバル特徴を局所化と認識の両方で再利用することで、精度はわずか1–1.5%低下に抑えられ、本手法の効率性と頑健性を裏付けている。
• AdaFocus+はフレームの動的スキップによりさらに効率を向上させ、時間的冗長性削減技術と相性が良いことが示された。