[論文レビュー] VA-RED$^2$: Video Adaptive Redundancy Reduction

Bowen Pan, Rameswar Panda+7 more|arXiv (Cornell University)|Feb 15, 2021

Human Pose and Action Recognition参考文献 63被引用数 5

ひとこと要約

VA-RED² は、入力に依存するフレームワークであり、動的かつ非冗長な特徴の計算のみを実行し、残りを安価な線形演算で再構築することで、動画認識モデルにおける冗長な計算を動的に削減するモデルに依存しない手法である。共有重みで微分可能なメカニズムを用いて、時間的およびチャネル次元における適応的ポリシーを同時に学習することで、I3D、R(2+1)D、X3D モデルにおいて、精度を損なわずに 20–40% の FLOP 削減を達成した。

ABSTRACT

Performing inference on deep learning models for videos remains a challenge due to the large amount of computational resources required to achieve robust recognition. An inherent property of real-world videos is the high correlation of information across frames which can translate into redundancy in either temporal or spatial feature maps of the models, or both. The type of redundant features depends on the dynamics and type of events in the video: static videos have more temporal redundancy while videos focusing on objects tend to have more channel redundancy. Here we present a redundancy reduction framework, termed VA-RED$^2$, which is input-dependent. Specifically, our VA-RED$^2$ framework uses an input-dependent policy to decide how many features need to be computed for temporal and channel dimensions. To keep the capacity of the original model, after fully computing the necessary features, we reconstruct the remaining redundant features from those using cheap linear operations. We learn the adaptive policy jointly with the network weights in a differentiable way with a shared-weight mechanism, making it highly efficient. Extensive experiments on multiple video datasets and different visual tasks show that our framework achieves $20\% - 40\%$ reduction in computation (FLOPs) when compared to state-of-the-art methods without any performance loss. Project page: http://people.csail.mit.edu/bpan/va-red/.

研究の動機と目的

• 時間的およびチャネル的次元における特徴マップの冗長性が原因で生じる動画認識モデルの高い計算コストを軽減すること。
• 精度を損なわず、時間的およびチャネル的次元の両方における冗長性を低減すること。
• 入力のコンテンツダイナミクスに基づいて計算を適応的に調整できる、モデルに依存しない微分可能なフレームワークを開発すること。
• 動画モデルにおける効率的な推論を可能にするために、特徴計算のための適応的ポリシーを学習すること。

提案手法

• フレームワークは、完全に計算する必要がある特徴マップの割合を入力に依存するポリシーで決定し、残りは安価な線形演算で再構築する。
• 共有重みのメカニズムを用いて、ネットワーク重みと同時に適応的ポリシーを学習し、エンド・トゥ・エンドの微分可能性を実現する。
• この手法は時間的およびチャネル的次元の両方に適用され、動画の内容（例：静止画 vs. 動いている物体）に応じて計算を動的に調整する。
• I3D、R(2+1)D、X3D などの 2D/3D CNN バックボーンに、アーキテクチャの変更なしに適用可能である。
• 微調整中に効率性損失項を用いることで、FLOP 使用量を低く保ちながら精度を維持するように促進する。
• 行動認識、時空間局所化、セマンティックセグメンテーションのタスクにおいて、検証が行われた。

実験結果

リサーチクエスチョン

• RQ1 動画モデルにおける冗長な特徴を、入力の内容に応じて動的に削減することで、計算効率を向上させることができるか？
• RQ2 時間的およびチャネル的次元における入力依存の計算が、モデルの精度と FLOP 削減に与える影響は何か？
• RQ3 微分可能で共有重みのポリシーは、多様な動画入力において、どの特徴を計算するかを適応的に選択する学習が可能か？
• RQ4 VA-RED² は、最新の動画モデルにおいて、性能劣化を伴わずにどの程度 FLOPs を削減できるか？
• RQ5 このフレームワークは、行動認識を越えて、さまざまな動画理解タスクに一般化可能か？

主な発見

• VA-RED² は、Kinetics-400 および Mini-Kinetics-200 データセットで I3D-InceptionV2 に対して 40% の FLOPs 削減を達成したが、精度に損なわれはなかった。
• 同じベンチマークで R(2+1)D-18 と比較して、計算量を 30% 削減し、最先端の精度を維持した。
• X3D-M では、FLOPs を約 20% 削減したが、性能劣化は認められなかった。
• アブレーションスタディの結果、時間的およびチャネル的次元における動的モデリングが、最良の効率-精度トレードオフを達成していることが確認された。
• 可視化の結果、ポリシーが動画の内容に適応していることが示された：複雑なシーン（例：バレー）ではより多くの特徴が計算され、静止または単純な動画では少ない特徴が計算された。
• この手法は、密度予測タスクにも一般化可能であり、ADE-20K で dilated ResNet-18 を用いたセマンティックセグメンテーションにおいて、GFLOPs を 31.2% 削減したが、mIoU を維持した。