[論文レビュー] Visual Dynamics: Probabilistic Future Frame Synthesis via Cross Convolutional Networks

Tianfan Xue, Jiajun Wu+2 more|arXiv (Cornell University)|Jul 9, 2016

Advanced Vision and Imaging参考文献 8被引用数 145

ひとこと要約

監督なしで単一の画像から複数の妥当性のある未来フレームを合成する、条件付き変分オートエンコーダとクロス畳み込みネットワークを用いた確率的フレーム生成フレームワーク。運動条件付き分布を捉える。

ABSTRACT

We study the problem of synthesizing a number of likely future frames from a single input image. In contrast to traditional methods, which have tackled this problem in a deterministic or non-parametric way, we propose a novel approach that models future frames in a probabilistic manner. Our probabilistic model makes it possible for us to sample and synthesize many possible future frames from a single input image. Future frame synthesis is challenging, as it involves low- and high-level image and motion understanding. We propose a novel network structure, namely a Cross Convolutional Network to aid in synthesizing future frames; this network structure encodes image and motion information as feature maps and convolutional kernels, respectively. In experiments, our model performs well on synthetic data, such as 2D shapes and animated game sprites, as well as on real-wold videos. We also show that our model can be applied to tasks such as visual analogy-making, and present an analysis of the learned network representations.

研究の動機と目的

• 単一の入力画像からの未来フレームの条件付き分布を動機づけ、モデル化する。
• アノテーションなしで、内容を考慮した確率的な運動表現を学習する。
• 固有の運動の曖昧さを反映した多様で現実的な未来フレームのサンプリングを可能にする。
• 視覚的アナロジー作成への適用性を示し、学習された表現を分析する。

提案手法

• p(v|I,z)をモデリングする条件付き変分オートエンコーダを導入し、p(z|v,I)からサンプリングして未来フレーム J=I+v を生成する。
• 画像依存のモーションカーネルを多スケール特徴マップに適用して差分画像 v を合成するクロス畳み込み層を提案する。
• 4段ピラミッドにわたる画像エンコーダとモーションエンコーダを用いて潜在モーションコード z を取得する。
• デコーダは学習されたモーションカーネルと特徴マップを結合して Eulerian motion v を回帰する。
• KLダイバージェンス正則化と再パラメータ化を用いた連続フレームの対ペア再構成目的で訓練する。
• 推論時: 事前分布から z をサンプリング（経験的モーション分布）し、単一入力画像 I に対して複数の未来フレーム J=I+v を生成する。

実験結果

リサーチクエスチョン

• RQ1 確率モデルは単一画像に条件づけられた複数の妥当な未来フレームを捉えられるか？
• RQ2 画素領域ごとにカーネル重み付き運動を学習するクロス畳み込みネットワークは、先行手法よりも Eulerian motion のモデリングに有利か？
• RQ3 監督なしで合成データと実世界の動画データにどれくらい一般化できるか？
• RQ4 学習された表現は視覚的アナロジー作成や運動チャネルの解釈といったタスクを支援できるか？

主な発見

• モデルは疎な高レベルのモーション表現 z を学習する（z平均の分散の95%を説明する PCA 成分は 30 未満）。
• モデルからのサンプルは合成形状データ上で真のモーション分布を密接に近似し、flow-transferおよび非-VAEベースラインを上回る。
• スプライトおよび実データセットでは、本手法が現実的で多様な未来フレームを生成し、フローベースのベースラインより人間評価実験で高いスコアを獲得。
• 学習済みモーション関係を新しい入力へ転送するゼロショットの視覚アナロジー作成を可能にし、いくつかの教師あり類推法を上回る。
• ネットワークによって学習された特徴マップは自然に物体と輪郭を検出し、意味のある運動認識表現を示している。