[論文レビュー] Look More but Care Less in Video Recognition

Yitian Zhang, Yue Bai+3 more|arXiv (Cornell University)|Nov 18, 2022

Human Pose and Action Recognition被引用数 4

ひとこと要約

本稿では、2本のブランチからなる2次元畳み込みニューラルネットワーク（2D-CNN）アーキテクチャ「Ample and Focal Network（AFNet）」を提案する。このアーキテクチャは、入力フレームを最小限の計算量で処理しつつ、軽量なナビゲーションモジュールにより顕著なフレームに動的に注目することで、効率的な動画認識を実現する。ネットワーク内での適応的フレーム選択により時間的ダイナミクスを暗黙的にモデル化することで、情報損失を伴わず計算コストを削減しつつ、ベースライン手法よりも高い精度を達成する。

ABSTRACT

Existing action recognition methods typically sample a few frames to represent each video to avoid the enormous computation, which often limits the recognition performance. To tackle this problem, we propose Ample and Focal Network (AFNet), which is composed of two branches to utilize more frames but with less computation. Specifically, the Ample Branch takes all input frames to obtain abundant information with condensed computation and provides the guidance for Focal Branch by the proposed Navigation Module; the Focal Branch squeezes the temporal size to only focus on the salient frames at each convolution block; in the end, the results of two branches are adaptively fused to prevent the loss of information. With this design, we can introduce more frames to the network but cost less computation. Besides, we demonstrate AFNet can utilize fewer frames while achieving higher accuracy as the dynamic selection in intermediate features enforces implicit temporal modeling. Further, we show that our method can be extended to reduce spatial redundancy with even less cost. Extensive experiments on five datasets demonstrate the effectiveness and efficiency of our method.

研究の動機と目的

• 計算コストと認識精度のトレードオフを解消し、比例的に計算量が増加しないままより多くのフレームを活用できるようにすること。
• 従来の手法が重要なフレームでないものを早期に破棄するための情報損失やモデルの頑健性の低下を克服すること。
• 時間的モデリングと特徴表現を向上させるために、ネットワーク内に動的でエンドツーエンドで学習可能なフレーム選択メカニズムを導入すること。
• 各畳み込みブロックで顕著なフレームに対して選択的計算を可能にする軽量なナビゲーションモジュールを設計し、ポリシーネットワークを導入せずに冗長性を低減すること。
• 選択されたフレームの空間的領域に対しても選択メカニズムを適応させることで、空間的冗長性の低減を可能とし、さらなる効率性向上を図ること。

提案手法

• 2本のブランチからなるアーキテクチャを提案：Ampleブランチは、ダウンサンプリングとチャネル削減を施すことで、計算量を低く抑えながらも全時間的情報を保持する。
• Focalブランチを導入し、畳み込みブロックごとにナビゲーションモジュールを用いて顕著なフレームのみを動的に選択・計算することで、時間的計算量を削減する。
• 中間特徴に基づいてフレーム選択重みを生成する軽量なナビゲーションモジュールを設計し、追加のポリシーネットワークを必要とせずエンドツーエンド学習を可能にする。
• 2つのブランチ間の適応的特徴統合を実装し、AmpleブランチのグローバルコンテキストとFocalブランチの集中的な表現を統合する。
• 選択されたフレームの空間的領域に対しても同じ動的選択メカニズムを適用することで、空間的冗長性の低減を実現する。
• ネットワーク全体をエンドツーエンドで学習させ、バックプロパゲーションを通じてナビゲーションモジュールがタスク固有のフレーム重要度を学習できるようにする。

実験結果

リサーチクエスチョン

• RQ1 二重ブランチネットワークアーキテクチャは、計算コストを削減しつつも、入力フレームの全情報を保持できるか？
• RQ2 入力段階ではなくネットワーク内部での動的フレーム選択は、より良い時間的モデリングと、少ないフレーム数での精度向上をもたらすか？
• RQ3 複雑なポリシーネットワークを置き換えられる、学習可能な軽量なナビゲーションモジュールは、エンドツーエンド学習と効率性を維持しながら実現可能か？
• RQ4 提案手法は、認識性能を損なわず、時間的および空間的冗長性をどの程度低減できるか？
• RQ5 中間層での動的選択戦略は、固定サンプリングやランダム選択と比較して、精度と効率の面で優れているか？

主な発見

• AFNetは、Something-Something V1で50%のフレーム選択率でも75.9%のトップ-1精度を達成し、100%フレームを使用するベースライン（74.6%）を上回る。
• 同じフレーム数を用いた場合、適応的統合を施した二重ブランチ設計は、単一ブランチモデルに比べて最大3.4%の精度向上を実現する。
• ナビゲーションモジュールは、全フレーム選択率において固定サンプリング戦略（ランダム、均等、正規分布）を常に上回り、特に低選択率（例：0.3）で顕著な精度差が見られる。
• 顕著なフレームに注目することで計算コストを削減しつつ、入力情報の全量を保持するため、静的サンプリングに比べて少ないフレーム数で高い精度を達成できる。
• 動的選択メカニズムにより、時間的関係が暗黙的にモデル化され、静的手法よりもネットワークが時間的依存性をより効果的に学習できる。
• 空間的冗長性低減への応用も可能であり、空間的適応手法と組み合わせることで、アブレーションスタディで示されるようにさらなる効率性向上が可能となる。