[論文レビュー] AdaFuse: Adaptive Temporal Fusion Network for Efficient Action Recognition

Yue Meng, Rameswar Panda+6 more|arXiv (Cornell University)|Feb 10, 2021

Human Pose and Action Recognition参考文献 61被引用数 21

ひとこと要約

AdaFuseは、推論中に履歴特徴マップを動的に再利用し、冗長なチャネルをスキップすることで、効率的な動画行動認識を実現する適応的時系列融合ネットワークを提案する。Gumbel-Softmaxを用いて微分可能ポリシーを学習することで、複数のベンチマークで最先端のモデルと同等の精度を維持しながら、約40%のFLOPs削減を達成する。

ABSTRACT

Temporal modelling is the key for efficient video action recognition. While understanding temporal information can improve recognition accuracy for dynamic actions, removing temporal redundancy and reusing past features can significantly save computation leading to efficient action recognition. In this paper, we introduce an adaptive temporal fusion network, called AdaFuse, that dynamically fuses channels from current and past feature maps for strong temporal modelling. Specifically, the necessary information from the historical convolution feature maps is fused with current pruned feature maps with the goal of improving both recognition accuracy and efficiency. In addition, we use a skipping operation to further reduce the computation cost of action recognition. Extensive experiments on Something V1 & V2, Jester and Mini-Kinetics show that our approach can achieve about 40% computation savings with comparable accuracy to state-of-the-art methods. The project page can be found at https://mengyuest.github.io/AdaFuse/

研究の動機と目的

• 時系列フレーム間の特徴の冗長性を活用することで、動画行動認識における深層CNNの高い計算コストを低減すること。
• 各インスタンスおよび各層に対して、チャネルをスキップ、再利用、または計算するかを決定する、モデルに依存しない微分可能メカニズムを構築すること。
• 動画特徴の時系列整合性を活用することで、認識精度を損なわず効率を向上させること。
• 既存の2D-CNNアーキテクチャと互換性のあるプラグインソリューションを提供すること。
• 学習されたポリシー分布を通じて、データセット固有および層固有の時系列ダイナミクスの洞察を提供すること。

提案手法

• 各層の各チャネルに対して、スキップ、再利用、計算の3つの操作から選択するGumbel-Softmaxに基づく微分可能意思決定ポリシーを導入する。
• 学習されたアテンション重みを用いて、現在のプルーニングされた特徴と履歴特徴マップを統合し、時系列コンテキストを保持する。
• 動的変化が小さいフレームにおける冗長な特徴計算を回避することで、計算量を削減するスイッチバック接続を適用する。
• バックプロパゲーションを用いて、精度とFLOP削減の両方をバランスさせる重み付き損失関数を用いて、ポリシーネットワークとメインネットワークを同時に学習する。
• 軽量でスケーラブルなポリシーネットワークを設計し、効率性を最適化するため、隠れ層サイズと正則化ハイパーパrameterを調整する。
• TSN、TSM、ResNetなどの既存の2D-CNNバックボーンにAdaFuseをプラグインとして統合し、即座に効率性向上を実現する。

実験結果

リサーチクエスチョン

• RQ1 チャネルレベルでの適応的決定（スキップ、再利用、計算）により、精度の低下を伴わずに動画行動認識におけるFLOPsを顕著に削減できるか？
• RQ2 異なる動画データセットおよびネットワーク層において、学習されたポリシーはどのように変化するか？これにより、時系列ダイナミクスに関する何が明らかになるか？
• RQ3 ポリシーネットワークの容量を拡大する際の、モデルサイズ、推論速度、精度のトレードオフはどのようなものか？
• RQ4 スキップと再利用の組み合わせが、ナーブなまたはランダムなチャネル選択と比較して、効率性と精度のトレードオフにおいてどのように優れているか？
• RQ5 ポリシー分布は、データセット固有の時系列特性を理解するための診断ツールとして機能できるか？また、将来的なアーキテクチャ設計の指針となるか？

主な発見

• AdaFuseは、Something-Something V1およびV2、Jester、Mini-Kineticsで、最先端の精度を維持しながら、約40%のFLOPs削減を達成する。
• 「再利用」操作が精度向上に最も寄与し、ナーブなスキップと比較してTop-1精度が21.5ポイント向上する。
• 「スキップ」操作が効率性向上の主因であり、『Ada. Skip』のアブレーションにおいてFLOPsを55%削減する。
• ポリシーネットワークの隠れ層サイズを1024から4096に増加させることで、Something-V2でTop-1精度が59.40%から60.00%に向上し、FLOPsの増加は最小限に抑えられる。
• ポリシー分布は、初期層は時系列変化に対して感受性が低く、後段の層は入力のダイナミクスにより動的に適応していることを示している。
• 適応的ポリシーは、ランダムまたは固定ポリシーを上回り、TSN-R18を用いたSomething-V1で10.3G FLOPs、36.9% Top-1精度という、最良の精度-効率トレードオフを達成する。