[論文レビュー] Multi-Fiber Networks for Video Recognition

Yunpeng Chen, Yannis Kalantidis+3 more|arXiv (Cornell University)|Jul 30, 2018

Human Pose and Action Recognition参考文献 29被引用数 13

ひとこと要約

本稿では、計算コストを最大10倍まで低減するスパarsely connectedな3D CNNアーキテクチャ「Multi-Fiber Networks（MF-Net）」を提案する。深層ネットワークを複数の軽量で独立したファイバーに分割し、軽量なマルチプレクサモジュールを統合してファイバー間の情報伝達を可能にすることで、UCF-101、HMDB-51、Kineticsで最先端の精度を達成した。I3Dに比べ9倍、R(2+1)Dに比べ13倍の計算量削減を実現しながらも、高い性能を維持した。

ABSTRACT

In this paper, we aim to reduce the computational cost of spatio-temporal deep neural networks, making them run as fast as their 2D counterparts while preserving state-of-the-art accuracy on video recognition benchmarks. To this end, we present the novel Multi-Fiber architecture that slices a complex neural network into an ensemble of lightweight networks or fibers that run through the network. To facilitate information flow between fibers we further incorporate multiplexer modules and end up with an architecture that reduces the computational cost of 3D networks by an order of magnitude, while increasing recognition performance at the same time. Extensive experimental results show that our multi-fiber architecture significantly boosts the efficiency of existing convolution networks for both image and video recognition tasks, achieving state-of-the-art performance on UCF-101, HMDB-51 and Kinetics datasets. Our proposed model requires over 9x and 13x less computations than the I3D and R(2+1)D models, respectively, yet providing higher accuracy.

研究の動機と目的

• 動画認識のための3D畳み込みニューラルネットワークの高い計算コストを低減し、大規模応用への制限要因を解消すること。
• FLOPsを著しく削減しながらも、動画ベンチマークで最先端の精度を維持または向上させること。
• 標準的な3D CNNが1クリップあたり100 GFLOPs以上を要するのに対し、2Dネットワークは10～15 GFLOPs程度であるという非効率性を是正すること。
• 画像認識および動画認識の両タスクに適用可能な汎用的で効率的なアーキテクチャの開発。
• 空間的・時間的推論を活用することで、同じ計算コストでフレームベースモデルを上回る精度を達成するクリップベースモデルの実現。

提案手法

• Multi-Fiberアーキテクチャは、深層3D CNNをN個の独立した軽量ファイバーに分解し、各ファイバーがチャンネルのサブセットを処理することで、FLOPsを約N倍削減する。
• 各残差ブロックには、ファイバー間の制御された情報共有を可能にするマルチプレクサモジュールを統合し、計算オーバーヘッドを最小限に抑えつつ表現能力を向上させる。
• マルチプレクサは学習可能なルーティング機構を用い、ファイバー間で特徴を選択的に集約することで、特徴の多様性とモデルの表現力が向上する。
• 本アーキテクチャは2Dおよび3D CNNの両方へ適用可能であり、3Dバージョンはエンドツーエンドの動画行動認識を想定して設計されている。
• 標準的な最適化手法を用いてエンドツーエンドで訓練され、マルチプレクサはネットワークの他の部分と同時に学習される。
• 本手法はResNetなどの既存バックボーンアーキテクチャと互換性があり、コンパクトモデルへの後付け適用によって性能向上が可能である。

実験結果

リサーチクエスチョン

• RQ1 スパarsely connectedな3D CNNアーキテクチャは、顕著に低いFLOPsで最先端の動画認識精度を達成できるか？
• RQ2 ファイバーの独立性によって損なわれる表現能力を回復するために、マルチプレクサモジュールはどの程度有効か？
• RQ3 マルチファイバー設計は、画像認識および動画認識の両タスクにおいて、効率性と精度の向上に一般化可能か？
• RQ4 I3D や R(2+1)D と比較して、本アーキテクチャは精度および計算効率の両面で優れているか？
• RQ5 モデルの失敗モードは、アクションの持続時間や物体の識別性といった動画コンテンツの特性とどのように関連しているか？

主な発見

• MF-NetはUCF-101で11.1 GFLOPsの計算量でTop-1精度96.0％を達成し、I3D（152.4 GFLOPs）およびR(2+1)D-34（130.5 GFLOPs）を精度と効率の両面で上回った。
• HMDB-51では74.6％のTop-1精度を達成し、RGBフレームのみを用いる2D CNNに比べ15.5ポイントの向上を示し、光流体を用いる手法よりも5％以上高い精度を達成した。
• I3Dに比べ9倍以上、R(2+1)Dに比べ13倍以上の計算コスト削減を実現しながら、精度は同等または上回った。
• Res3D（85.8％）に比べ10％以上のTop-1精度向上を達成したが、FLOPsは42％少ない（19.3 GFLOPs 対 11.1 GFLOPs）。
• Kineticsでは400カテゴリ中190カテゴリが80％以上の精度を達成し、349カテゴリが50％を超えたことから、多様なアクションにわたる強力な一般化能力が示された。
• 失敗事例は主に短時間のアクションや特徴が明確でない物体を含む動画に起因しており、一時的または曖昧な運動を捉える能力の制限が確認された。