[論文レビュー] Video (language) modeling: a baseline for generative models of natural videos

Marc’Aurelio Ranzato, Arthur Szlam+4 more|arXiv (Cornell University)|Dec 20, 2014

Generative Adversarial Networks and Image Synthesis参考文献 28被引用数 302

ひとこと要約

本論文は、動画フレームを系列内のトークンとして扱う動画言語モデリング手法を提案する。画像パッチを量子化し、再帰的畳み込みネットワークを用いて将来のフレームを予測する。自然動画で訓練されたモデルは、非自明な運動を示す短い動画シーケンスを生成し、初めて、単純でスケーラブルかつ教師なしの手法が、明示的な運動モデリングなしに複雑な空間時間的ダイナミクスを捉えることが可能であることを示した。

ABSTRACT

We propose a strong baseline model for unsupervised feature learning using video data. By learning to predict missing frames or extrapolate future frames from an input video sequence, the model discovers both spatial and temporal correlations which are useful to represent complex deformations and motion patterns. The models we propose are largely borrowed from the language modeling literature, and adapted to the vision domain by quantizing the space of image patches into a large dictionary. We demonstrate the approach on both a filling and a generation task. For the first time, we show that, after training on natural videos, such a model can predict non-trivial motions over short video sequences.

研究の動機と目的

• 自然動画からの教師なし特徴学習のための強力でスケーラブルなベースラインの構築を目的とする。
• 動画モデリングが人為的アノテーションなしに意味のある空間時間的相関を発見できるかどうかを調査すること。
• 視覚への言語モデリングの単純な拡張が、短い動画シーケンスにおいて現実的な運動を生成できることを示すこと。
• ピクセルレベルの予測を、複雑な変形および運動パターンの学習の代理として用いる可能性を検討すること。

提案手法

• 局所的な画像パッチを大規模な辞書に量子化し、それを系列内の離散的トークンとして扱う。
• 空間的畳み込みを備えた再帰的ニューラルネットワーク（rNN）を用いて、フレーム間の時間的依存性をモデル化する。
• 過去のコンテキストをもとに次のパッチの尤度を最大化することで、系列における次のフレームを予測するようにモデルを訓練する。
• 空間的・時間的領域でパラメータを共有することで、局所的定常性を強制し、モデルの複雑さを低減する。
• マルチスケールの精錬を提案し、粗い予測の残差から高解像度の予測を生成する。
• 生成時にはグリーディデコードと最大活性化戦略を用いるが、長期的な一貫性に課題があると指摘されている。

実験結果

リサーチクエスチョン

• RQ1 自然動画で訓練された単純な教師なしモデルは、非自明な運動を示す将来のフレームを予測できるか？
• RQ2 言語モデリングの原則に基づく動画モデリングは、明示的な運動モデリングなしにどの程度空間時間的構造を捉えることができるか？
• RQ3 モデルは、特に運動および変形の観点から、未観測の動画シーケンスにどの程度一般化できるか？
• RQ4 ピクセル単位の予測と量子化を用いる際の限界は何か？

主な発見

• 自然動画で訓練したモデルは、非自明な運動を示す短い動画シーケンスを実際に生成でき、教師なし動画モデリングの可能性を示した。
• データ内の空間的および時間的相関を学習することで、複雑な変形および運動パターンを捉えている。
• ピクセルレベルの予測と量子化のみを用いても、短いシーケンスにおいて一貫性のある運動を生成でき、効果的な特徴学習が実現していることを示した。
• 誤差の蓄積と静的予測へのバイアスのため、数フレームを超えるとモデルの性能が低下し、長距離生成における限界が顕在化した。
• 量子化は視覚的アーティファクトを引き起こし、学習の難易度を高めるが、フル解像度の動画でのスケーラブルな学習を可能にした。
• 時間的再帰性と空間的畳み込みが、明示的な変換モデリングなしに、推定の正則化および局所的な空間時間的幾何学の学習に十分であることを示した。