[論文レビュー] MVFNet: Multi-View Fusion Network for Efficient Video Recognition

Wenhao Wu, Dongliang He+4 more|arXiv (Cornell University)|Dec 13, 2020

Human Pose and Action Recognition参考文献 39被引用数 6

ひとこと要約

MVFNetは、効率的な1次元チャネル別可分畳み込みを用いて、高さ-幅、高さ-時間、幅-時間の3つの空間的・時間的視点から動画のダイナミクスをモデル化するマルチビュー融合（MVF）モジュールを提案する。2次元CNNバックボーンに統合された本手法は、FLOPsが標準的な2次元CNNと同等の水準でありながら、複数のベンチマークで最先端の精度を達成し、3次元CNNやTSMやECOのような効率的な2次元ベース手法を上回る性能を発揮する。

ABSTRACT

Conventionally, spatiotemporal modeling network and its complexity are the two most concentrated research topics in video action recognition. Existing state-of-the-art methods have achieved excellent accuracy regardless of the complexity meanwhile efficient spatiotemporal modeling solutions are slightly inferior in performance. In this paper, we attempt to acquire both efficiency and effectiveness simultaneously. First of all, besides traditionally treating H x W x T video frames as space-time signal (viewing from the Height-Width spatial plane), we propose to also model video from the other two Height-Time and Width-Time planes, to capture the dynamics of video thoroughly. Secondly, our model is designed based on 2D CNN backbones and model complexity is well kept in mind by design. Specifically, we introduce a novel multi-view fusion (MVF) module to exploit video dynamics using separable convolution for efficiency. It is a plug-and-play module and can be inserted into off-the-shelf 2D CNNs to form a simple yet effective model called MVFNet. Moreover, MVFNet can be thought of as a generalized video modeling framework and it can specialize to be existing methods such as C2D, SlowOnly, and TSM under different settings. Extensive experiments are conducted on popular benchmarks (i.e., Something-Something V1 & V2, Kinetics, UCF-101, and HMDB-51) to show its superiority. The proposed MVFNet can achieve state-of-the-art performance with 2D CNN's complexity.

研究の動機と目的

• 動画行動認識における精度と計算効率のトレードオフを解消すること。
• 標準的な空間的・時間的平面を超えて、3次元動画の複数の視点からダイナミクスを捉えることで、空間的・時間的モデリングを向上させること。
• FLOPsの増加を最小限に抑えつつ、最先端の性能を実現する、プラグアンドプレイ可能なモジュールを設計すること。
• C2D、SlowOnly、TSMなどの既存手法に対して、異なる設定下でもMVFNetが汎用性を示すことを示すこと。

提案手法

• MVFモジュールは、時間（T）、高さ（H）、幅（W）の各次元に沿って、独立した3つの1次元チャネル別畳み込みを適用し、それぞれ時間的・高さ的・幅的ダイナミクスを別々にモデル化する。
• 特徴マップを分割：一方の部分は3つの1次元畳み込みによってマルチビューモデリングが行われ、他方の部分は元の活性化を保持するために直接連結される。
• モジュールは標準的なResNetブロックに統合され、MVFブロックが形成され、これを積み重ねてMVFNetを構築する。
• アーキテクチャは2次元CNNバックボーンと互換性があり、構造的再設計を伴わずにプラグアンドプレイ統合が可能である。
• 光学フローも3次元畳み込みも不要なエンドツーエンド学習が可能である。
• モデルは既存手法に特化可能である：例えば、特定の視点を無効化することでTSMやC2Dを再現できる。

実験結果

リサーチクエスチョン

• RQ1 3次元動画の複数の視点（H-W、H-T、W-T）から動画をモデル化することで、標準的な2次元＋時間モデリングを超えた空間的・時間的表現の向上が可能か？
• RQ2 可分1次元畳み込みに基づくプラグアンドプレイモジュールが、2次元CNNの複雑さを維持しつつ最先端の性能を達成できるか？
• RQ3 異なる設定下で、MVFNetがTSM、C2D、SlowOnlyなどの既存手法に汎用性を示せるか？
• RQ4 MVFNetは、FLOPsを低く抑えながら、3次元CNNおよび効率的な2次元ベース手法を上回る精度を達成できるか？

主な発見

• Something-Something V1では、16フレームで99G FLOPs、トップ1精度52.6％を達成し、I3D、ECO、TSMを下回るFLOPsで上回った。
• Kinetics-400では、8フレーム入力のMVFNet-R50が76.0％の精度を達成し、TSM（74.1％）とNL I3D-R50（74.9％）を上回り、FLOPsは2.1倍少ない。
• 16フレームでは、MVFNet-R50が77.0％の精度を達成し、NL I3D-R50（76.5％）を上回り、FLOPsは4.2倍少ない。
• 16フレームおよび8フレームのアンサンブルを用いたMVFNet-Enは、Kinetics-400で79.1％の精度を達成し、SlowFast（78.9％）を上回り、FLOPsは2.1倍少ない（188G vs. 213G）。
• UCF-101およびHMDB-51では、MVFNetはそれぞれ96.6％および75.7％の平均クラス精度を達成し、2次元ベースの軽量モデルを上回り、3次元CNNベースラインと同等または上回った。