[論文レビュー] Decomposing Motion and Content for Natural Video Sequence Prediction

Ruben Villegas, Shuicheng Yan+3 more|arXiv (Cornell University)|Jun 25, 2017

Video Analysis and Summarization参考文献 10被引用数 416

ひとこと要約

MCnet は動画予測を別個のモーションとコンテンツエンコーダに分解し、ピクセルレベルの未来フレーム予測のエンドツーエンド学習を可能にし、複数のアクション動画データセットで最先端の結果を達成します。

ABSTRACT

We propose a deep neural network for the prediction of future frames in natural video sequences. To effectively handle complex evolution of pixels in videos, we propose to decompose the motion and content, two key components generating dynamics in videos. Our model is built upon the Encoder-Decoder Convolutional Neural Network and Convolutional LSTM for pixel-level prediction, which independently capture the spatial layout of an image and the corresponding temporal dynamics. By independently modeling motion and content, predicting the next frame reduces to converting the extracted content features into the next frame content by the identified motion features, which simplifies the task of prediction. Our model is end-to-end trainable over multiple time steps, and naturally learns to decompose motion and content without separate training. We evaluate the proposed network architecture on human activity videos using KTH, Weizmann action, and UCF-101 datasets. We show state-of-the-art performance in comparison to recent approaches. To the best of our knowledge, this is the first end-to-end trainable network architecture with motion and content separation to model the spatiotemporal dynamics for pixel-level future prediction in natural videos.

研究の動機と目的

• 自然動画におけるピクセルレベルの未来フレーム予測を動機づけ、解決する。
• モーションとコンテンツを別々のエンコーダ経路で分離する2ストリームアーキテクチャを提案する。
• エンドツーエンドの学習が監視なしでモーションとコンテンツの分解を学習できることを示す。

提案手法

• 二つのエンコーダ経路: 動きエンコーダはフレーム差分を処理し、ダイナミクスを捉えるためにConvLSTMを用い、コンテンツエンコーダは直前に観測されたフレームを処理して空間的配置を捉える。
• プーリングによる情報損失を緩和するためのマルチスケールのモーション-コンテンツ残差をデコーダへ供給。
• デコーディング前にモーションとコンテンツを統合表現に融合する結合層。
• エンコーダからの残差接続を利用したデコンボリューションベースのデコーダが次のフレームを再構成。
• 上記の手順を繰り返すことにより、前の予測を次のステップの入力として使用してマルチフレーム予測を実現。
• 画像空間損失と敵対的損失からなる損失により、よりシャープでリアルなフレームを生成。

実験結果

リサーチクエスチョン

• RQ1 モーションとコンテンツを別々のエンコーダ経路で分離することは、自然動画におけるピクセルレベルの未来フレーム予測を改善しますか？
• RQ2 エンドツーエンドの学習は監視なしで自然なモーションとコンテンツの分解を生じさせますか？
• RQ3 標準的なビデオデータセット（KTH、Weizmann、UCF-101）におけるConvLSTMのベースラインや最新のフレーム予測法に対して、MCnetはどの程度性能を発揮しますか？
• RQ4 マルチスケール残差は情報の保持と時系列での予測品質を向上させますか？

主な発見

• MCnetは長期予測でConvLSTMベースラインを上回り、未知のコンテンツへの一般化能力が高い（KTHおよびWeizmannデータセット）。
• 非対称のモーション-コンテンツアーキテクチャは、明示的な監視なしにダイナミクスとレイアウトの自然な分解を可能にする。
• UCF-101では、MCnet（単一ステップ）はベースラインを明確に上回り、最先端と比較して競争力のある結果を示し、残差バリアントは一般化を向上させる。
• マルチスケール残差はプーリングを跨いだ情報の保持を助け、フレームのシャープさと現実感を向上させる。
• 予測は長期的な時間軸でも比較的シャープさを維持し、周期的な動作パターンを捉える。
• 定性的な結果は、MCnetが人間の形状やモーション手掛かりをベースラインよりも忠実に保持することを示している。