[論文レビュー] FASTER Recurrent Networks for Efficient Video Classification

Linchao Zhu, Laura Sevilla-Lara+4 more|arXiv (Cornell University)|Jun 10, 2019

Human Pose and Action Recognition参考文献 61被引用数 9

ひとこと要約

FASTERは、新しい再帰的ユニットであるFAST-GRUを用いて、軽量モデルと高コストモデルの予測を統合することで、空間的・時間的冗長性を活用する画期的なフレームワークである。Kinetics、UCF-101、HMDB-51の各データセットで最先端の精度を維持しながら、10倍以上のFLOPs削減を達成しており、最大75%のクリップを安価なモデルで処理しても性能を損なわない。

ABSTRACT

Typical video classification methods often divide a video into short clips, do inference on each clip independently, then aggregate the clip-level predictions to generate the video-level results. However, processing visually similar clips independently ignores the temporal structure of the video sequence, and increases the computational cost at inference time. In this paper, we propose a novel framework named FASTER, i.e., Feature Aggregation for Spatio-TEmporal Redundancy. FASTER aims to leverage the redundancy between neighboring clips and reduce the computational cost by learning to aggregate the predictions from models of different complexities. The FASTER framework can integrate high quality representations from expensive models to capture subtle motion information and lightweight representations from cheap models to cover scene changes in the video. A new recurrent network (i.e., FAST-GRU) is designed to aggregate the mixture of different representations. Compared with existing approaches, FASTER can reduce the FLOPs by over 10x? while maintaining the state-of-the-art accuracy across popular datasets, such as Kinetics, UCF-101 and HMDB-51.

研究の動機と目的

• 各クリップを独立して処理する高コストなネットワークを用いた動画分類モデルの高い計算コストを低減すること。
• 動画シーケンス内の時間的冗長性を活用し、軽量モデルと高コストモデルの予測を統合することで、重複計算を最小限に抑えること。
• クリップレベルの予測を単純な平均化よりも効果的に統合できる学習可能な集約メカニズムを設計すること。
• ImageNetの事前学習に依存せずに、最先端の精度/FLOPsトレードオフを達成すること。
• リソース制約のあるデバイスへの高精度な動画モデルの効率的デプロイを可能にすること。

提案手法

• FASTER（Spatio-Temporal Redundancyのための特徴統合）を提案。大部分のクリップを軽量モデルで処理し、一部のみを高コストモデルで処理することでFLOPsを削減するフレームワーク。
• 空間解像度を保持し、チャネル単位の特徴圧縮を適用することで、効率的な表現統合を実現する新規なゲーテッド再帰ユニットであるFAST-GRUを導入。
• 二本のブランチアーキテクチャを採用：細かい動きの詳細を捉えるために高コストモデル（例：R(2+1)D-50 や R3D-50）、シーンレベルの変化を処理するための軽量モデル。
• 時間的に予測を統合する再帰ネットワークを用い、平均プーリングを超える長距離依存関係をモデル化。
• 標準的なGRUとは異なり、特徴マップの空間的・時間的解像度を維持する。
• 異種のモデル複雑度から得られる表現を最適に融合できるように、エンドツーエンドでアグリゲーションネットワークを学習。

実験結果

リサーチクエスチョン

• RQ1 動画シーケンス内の時間的冗長性を活用することで、動画分類のFLOPsを削減しつつ、精度を損なわずに行えるか？
• RQ2 学習可能な再帰的集約メカニズムは、クリップレベルの予測を単純に平均化する手法を上回る性能を発揮できるか？
• RQ3 軽量モデルと高コストモデルのハイブリッドモデルは、単一モデルのベースラインよりも優れた精度/FLOPsトレードオフを達成できるか？
• RQ4 提案されたFAST-GRUアーキテクチャは、標準的なRNNに比べて、多様な複雑度の表現統合をより効果的に行えるか？
• RQ5 FASTERフレームワークは、ImageNetの事前学習を必要とせず、異なるバックボーンやデータセットに一般化可能か？

主な発見

• FASTER32は、Kineticsで75.3%のトップ1精度を達成し、8クリップあたり67.7 GFLOPsで、I3D（68.4%、432 GFLOPs）を上回り、NL-I3DのFLOPsの5%にまで削減。
• FASTER16は、16クリップあたり14.4 GFLOPsで71.7%のトップ1精度を達成し、事前学習なしのI3D（68.4%）を半分のFLOPコストで上回る。
• フレームワークは、10倍以上のFLOPs削減を達成しながら、最先端の精度を維持しており、最大75%のクリップを安価なモデルで処理可能。
• FAST-GRUは、標準的なGRUや平均プーリングを上回り、長距離依存関係を効果的にモデル化するとともに、特徴マップの空間解像度を保持する。
• FASTERフレームワークは良好な一般化性能を示す：R(2+1)D-50をR3D-50に置き換えても性能がわずかに向上し、FLOP削減効果は同等に維持される。
• UCF-101およびHMDB-51では、FASTER32がそれぞれ96.9%および75.7%の精度を達成し、計算コストを著しく低減しながら最先端の結果を同等または上回る。