[論文レビュー] End-to-End Learning of Motion Representation for Video Understanding

Lijie Fan, Wenbing Huang+4 more|arXiv (Cornell University)|Apr 2, 2018

Human Pose and Action Recognition被引用数 31

ひとこと要約

本論文では、TV-L1オプティカルフロー法の反復的手順をニューラルレイヤーに展開することで、微分可能でエンドツーエンドで学習可能なニューラルネットワーク、TVNetを提案する。TVNetはUCF101で95.4%、HMDB51で72.6%の最先端のアクション認識精度を達成し、手作業で作成されたオプティカルフローと学習ベースラインを上回る性能を発揮するとともに、事前計算されたフローの保存を必要としない効率的な共同学習を可能にする。

ABSTRACT

Despite the recent success of end-to-end learned representations, hand-crafted optical flow features are still widely used in video analysis tasks. To fill this gap, we propose TVNet, a novel end-to-end trainable neural network, to learn optical-flow-like features from data. TVNet subsumes a specific optical flow solver, the TV-L1 method, and is initialized by unfolding its optimization iterations as neural layers. TVNet can therefore be used directly without any extra learning. Moreover, it can be naturally concatenated with other task-specific networks to formulate an end-to-end architecture, thus making our method more efficient than current multi-stage approaches by avoiding the need to pre-compute and store features on disk. Finally, the parameters of the TVNet can be further fine-tuned by end-to-end training. This enables TVNet to learn richer and task-specific patterns beyond exact optical flow. Extensive experiments on two action recognition benchmarks verify the effectiveness of the proposed approach. Our TVNet achieves better accuracies than all compared methods, while being competitive with the fastest counterpart in terms of features extraction time.

研究の動機と目的

• 事前計算されたオプティカルフローに依存する2段階の動画アクション認識手法における非効率性とパイプライン分離の問題を解決すること。
• オプティカルフロー特徴を保存・再計算する必要がない、エンドツーエンドで学習可能なニューラルネットワークを構築すること。
• 動きの特徴学習と下流タスクネットワークの共同最適化を可能にし、標準的なオプティカルフローを超えたタスク固有の適応を可能にすること。
• 既存のフローベースドおよび3D CNN手法と比較して、計算効率を維持したままアクション認識精度を向上させること。

提案手法

• TVNetは、TV-L1オプティカルフロー法の反復的最適化手順を、学習可能なニューラルレイヤーの系列に展開することで構築される。
• TV-L1アルゴリズムの各反復は、元のソルバーの数学的構造を保ったカスタムニューラルレイヤーとしてモデル化される。
• 事前学習済みのTV-L1重みで初期化されるため、追加の学習なしに即座に利用可能である。
• TVNetは、空間ストリーム（例：BN-Inception）と組み合わせた2ストリームアーキテクチャに統合され、フローオブジェクティブと分類オブジェクティブを組み合わせたマルチタスク損失を介して共同微調整される。
• モデルはエンドツーエンドで学習され、勾配が動き特徴抽出器を逆伝播可能となり、タスク固有の適応が可能になる。
• 推論段階では、固定された1:2の重みでRGBストリームと動きストリームの予測を融合する2ストリーム統合戦略が適用される。

実験結果

リサーチクエスチョン

• RQ1 ビデオデータから直接エンドツーエンドで学習可能な、オプティカルフローに類似した特徴を学習できるニューラルネットワークを設計できるか？
• RQ2 確立された最適化アルゴリズム（TV-L1）をニューラルネットワーク構造に展開することで、標準的なオプティカルフローを上回る性能が得られるか？
• RQ3 動き特徴抽出器のエンドツーエンド微調整は、固定されたオプティカルフローと比較して、アクション認識精度を向上させるか？
• RQ4 本手法により、事前計算および保存されたオプティカルフローの必要性を排除しながら、性能を維持または向上させられるか？

主な発見

• TVNetはUCF101で95.4%のアクション認識精度を達成し、TV-L1、FlowNet2.0、3D CNNsを含むすべての比較手法を上回る。
• HMDB51では72.6%の精度を達成し、すべてのベースラインを上回り、困難なアクション認識ベンチマークにおける強力な一般化性能を示している。
• 固定された状態（微調整なし）でも、DIS-Fast や DeepFlow などの他のフローベースラインを上回る性能を示しており、優れた初期化であることが確認された。
• 分類損失のみを使用する場合と比較して、共同損失によるエンドツーエンド学習が性能を向上させることから、フローの監視が特徴学習を強化することが示された。
• TV-L1入力を使用する2ストリームベースラインと比較して、UCF101で6.5%、HMDB51で11.6%の向上を達成しており、エンドツーエンドでの動き学習の利点を裏付けた。
• TVNetは競争力ある推論速度と低いオプティカルフロー誤差を達成しており、実世界の展開においても正確かつ効率的である。