[論文レビュー] AR-Net: Adaptive Frame Resolution for Efficient Action Recognition

Yue Meng, Chung-Ching Lin+6 more|arXiv (Cornell University)|Jul 31, 2020

Human Pose and Action Recognition参考文献 62被引用数 10

ひとこと要約

AR-Netは、各動画フレームごとに最適な入力解像度を動的に選択する微分可能で適応的なフレーム解像度メカニズムを提案する。認識モデルと共同で訓練されるGumbel-Softmax正則化ポリシーネットワークを用いることで、ActivityNet-v1.3で最大45%のFLOPS削減を達成し、均一解像度ベースラインよりも精度を向上させる。

ABSTRACT

Action recognition is an open and challenging problem in computer vision. While current state-of-the-art models offer excellent recognition results, their computational expense limits their impact for many real-world applications. In this paper, we propose a novel approach, called AR-Net (Adaptive Resolution Network), that selects on-the-fly the optimal resolution for each frame conditioned on the input for efficient action recognition in long untrimmed videos. Specifically, given a video frame, a policy network is used to decide what input resolution should be used for processing by the action recognition model, with the goal of improving both accuracy and efficiency. We efficiently train the policy network jointly with the recognition model using standard back-propagation. Extensive experiments on several challenging action recognition benchmark datasets well demonstrate the efficacy of our proposed approach over state-of-the-art methods. The project page can be found at https://mengyuest.github.io/AR-Net

研究の動機と目的

• 最新のアクション認識モデルの高い計算コストが実世界の応用において問題となるのを緩和すること。
• 精度を損なわず計算量を削減できる、フレームごとの解像度適応を可能にすること。
• 強化学習の複雑さを避けるために、バックプロパゲーションを用いて認識モデルと共同でポリシー選択を端末から訓練できること。
• 多様な動画入力において、精度と効率の間で柔軟なトレードオフを実現すること。
• 複数のベンチマークデータセットとバックボーンアーキテクチャにわたる一般化可能性を示すこと。

提案手法

• 軽量なポリシーネットワークが、入力フレームの内容に基づいて最適な解像度（またはスキップ）を予測する。
• Gumbel-Softmaxを用いて離散分布からサンプリングすることで、標準的なバックプロパゲーションによる微分可能訓練が可能になる。
• 性能と計算量のバランスを取るために、精度損失、効率損失（GFLOPS）、均一性正則化を組み合わせた訓練目的関数を採用する。
• ウォームアップ、共同訓練、ファインチューニングの段階を含むエンドツーエンドの最適化戦略でフレームワークを訓練する。
• モデルに依存しないアプローチであり、EfficientNetを含むさまざまな2D/3D CNNバックボーンに適用可能である。
• 推論時にリアルタイムで解像度を決定し、情報量の多いフレームは高解像度で処理し、冗長または低品質なフレームはダウンサンプリングまたはスキップする。

実験結果

リサーチクエスチョン

• RQ1 均一解像度処理と比較して、適応的フレーム解像度選択は、アクション認識における精度と効率の両面で向上をもたらすか？
• RQ2 離散的で解像度選択ポリシーを、標準的なバックプロパゲーションを用いてエンドツーエンドでどのように訓練できるか？
• RQ3 精度、効率、ポリシーの均一性を共同で最適化することで、モデル性能にどのような影響を与えるか？
• RQ4 提案手法は、多様な動画データセットとバックボーンアーキテクチャに一般化可能か？
• RQ5 解像度選択に加えてフレームスキップを組み込むことで、効率性と性能がどのように向上するか？

主な発見

• AR-Netは、ActivityNet-v1.3データセットにおいて、最新手法と比較してFLOPSを45%削減し、mAPを73.3%から73.8%に向上させた。
• 解像度選択とフレームスキップの組み合わせが、両方の操作を単独で用いる戦略よりも優れた性能-効率トレードオフを達成した。
• 精度、効率、均一性の全損失を用いた訓練により、GFLOPS/Vは33.47にまで低下し、均一手法のベースライン（60.06 GFLOPS/V）を顕著に下回った。
• 計算コストを低く抑えても、均一解像度ベースラインよりも高い精度を達成しており、適応的解像度が効率性とパフォーマンスの両方を向上させることを示した。
• 定性的な結果から、AR-Netは情報量の多いフレーム（例：重要なアクションの瞬間）を正しく特定し、保存している一方で、不要またはぼやけたフレームはダウンサンプリングまたはスキップしていることが分かった。
• 本手法は、ActivityNet-v1.3、FCVID、Mini-Kineticsなど複数のデータセットで有効であり、精度と効率の両面で一貫した向上を示した。