[論文レビュー] MotionSqueeze: Neural Motion Feature Learning for Video Understanding

Heeseung Kwon, Manjin Kim+2 more|arXiv (Cornell University)|Jul 20, 2020

Human Pose and Action Recognition参考文献 32被引用数 5

ひとこと要約

本論文では、外部の光流体計算に依存せずに動画フレームから直接動き特徴を学習する、軽量でエンド・ツー・エンドで訓練可能なニューラルモジュールであるMotionSqueeze（MS）を提案する。MSはフレーム間の対応関係を学習し、内部で動き特徴を生成することで、計算コストをほとんど増加させずにSomething-Something-V1&V2における行動認識の精度を向上させ、事前計算された光流体を使用する二流体ネットワークを含む最先端手法を上回る性能を発揮する。

ABSTRACT

Motion plays a crucial role in understanding videos and most state-of-the-art neural models for video classification incorporate motion information typically using optical flows extracted by a separate off-the-shelf method. As the frame-by-frame optical flows require heavy computation, incorporating motion information has remained a major computational bottleneck for video understanding. In this work, we replace external and heavy computation of optical flows with internal and light-weight learning of motion features. We propose a trainable neural module, dubbed MotionSqueeze, for effective motion feature extraction. Inserted in the middle of any neural network, it learns to establish correspondences across frames and convert them into motion features, which are readily fed to the next downstream layer for better prediction. We demonstrate that the proposed method provides a significant gain on four standard benchmarks for action recognition with only a small amount of additional cost, outperforming the state of the art on Something-Something-V1&V2 datasets.

研究の動機と目的

• 動画理解モデルにおける外部光流体計算の計算ボトル neck を解消すること。
• 動画フレームから内部で動き特徴を学習する、軽量で訓練可能なモジュールを開発すること。
• モデルサイズや推論コストを著しく増加させることなく、行動認識の性能を向上させること。
• プラグアンドプレイによる挿入が可能で、既存の動画分類アーキテクチャに効率的に統合できること。
• 内部で動き特徴を学習する手法が、外部光流体に基づく手法と同等またはそれを上回る性能を発揮できることを示すこと。

提案手法

• MotionSqueeze（MS）モジュールはニューラルネットワークの中間に挿入され、隣接する動画フレームから動き特徴を学習する。
• 学習可能なアテンションメカニズムを用いて、隣接フレーム間の特徴類似度を計算することで、フレーム間の対応関係を確立する。
• これらの対応関係を微分可能変換によりコンパクトな動き特徴に変換し、その後の層に供給する。
• モジュール全体がバックプロパゲーションによりエンド・ツー・エンドで訓練可能であり、事前計算された光流体の必要性がなくなる。
• MSモジュールを標準的な2Dまたは3D CNNと組み合わせた新しいアーキテクチャであるMSNetに統合する。
• MSモジュールは明示的な流れ推定を避ける空間類似度に基づくアプローチを採用しており、計算コストを低減する。

実験結果

リサーチクエスチョン

• RQ1 学習可能で内部に配置されたモジュールは、動画行動認識において外部光流体計算を効果的に置き換えることができるか？
• RQ2 動き特徴をエンド・ツー・エンドで学習することは、事前計算された光流体を使用する場合よりも優れた性能をもたらすか？
• RQ3 提案されたモジュールは、モデルサイズやFLOPsを著しく増加させることなく、既存の動画ネットワークに効率的に挿入可能か？
• RQ4 MSモジュールの性能は、光流体を用いた最先端の二流体ネットワークと比べてどうか？
• RQ5 MSモジュールが学習する動き特徴は、3D畳み込みによる空間時間的特徴とどの程度補完的か？

主な発見

• Something-Something-V1において、ResNet-18では21.3%、MobileNet-V2では19.2%の精度向上を達成し、2D CNNにおいて顕著な向上を示した。
• I3DおよびTSM-ResNet-18において、トップ-1精度がそれぞれ2.4%および4.0%向上し、既存の空間時間的特徴と相乗効果を発揮した。
• MSNetはFLOPsを約半分に抑えながら、二流体8+(8×5)ネットワークよりもトップ-1精度で0.8%高い性能を発揮した。
• 低フレームレートの光流体を用いた場合、MSNetと二流体ネットワークの性能差は1.4%ポイントにまで拡大し、入力品質が低い場合でも優れたロバスト性を示した。
• 可視化結果から、MSモジュールが明示的な教師信号なしに、平行移動、回転、変形といった信頼性の高い動きパターンを学習していることが確認された。
• 計算コストのわずかな増加で、Something-Something-V1およびV2で最先端の性能を達成した。