[論文レビュー] Flow-Grounded Spatial-Temporal Video Prediction from Still Images

Yijun Li, Fang Chen+4 more|arXiv (Cornell University)|Jul 25, 2018

Advanced Vision and Imaging参考文献 36被引用数 11

ひとこと要約

本論文は、3次元条件付き変分オートエンコーダ（3D-cVAE）を用いてマルチステップの光流を確率的潜在空間で予測した後、その光流に基づいて生成モデルを用いてピクセルレベルのフレームを合成することで、1枚の静止画から複数の将来フレームを生成する2段階の動画予測フレームワークを提案する。不確実性をモデル化し、実際の動画シーケンスのデータ多様体を保持することで、品質、多様性、知覚的リアリズムの面で優れた結果を達成する。

ABSTRACT

Existing video prediction methods mainly rely on observing multiple historical frames or focus on predicting the next one-frame. In this work, we study the problem of generating consecutive multiple future frames by observing one single still image only. We formulate the multi-frame prediction task as a multiple time step flow (multi-flow) prediction phase followed by a flow-to-frame synthesis phase. The multi-flow prediction is modeled in a variational probabilistic manner with spatial-temporal relationships learned through 3D convolutions. The flow-to-frame synthesis is modeled as a generative process in order to keep the predicted results lying closer to the manifold shape of real video sequence. Such a two-phase design prevents the model from directly looking at the high-dimensional pixel space of the frame sequence and is demonstrated to be more effective in predicting better and diverse results. Extensive experimental results on videos with different types of motion show that the proposed algorithm performs favorably against existing methods in terms of quality, diversity and human perceptual evaluation.

研究の動機と目的

• 静止画から複数の将来フレームを予測する課題に取り組む。ここには運動の手がかりがなく、不確実性が高いため、困難である。
• 変分推論を用いた3D-cVAEを用いて、将来の運動における時間的・空間的依存関係をモデル化する。
• 予測された光流に基づいてフレーム合成を行うことで、現実的で多様かつ知覚的に妥当な動画シーケンスを生成する。
• 人間の動作にとどまらず、雲や流体のような動的テクスチャにも一般化を向上させる。
• 光流予測とフレーム生成を分離することで、予測の品質と多様性が向上することを示す。

提案手法

• 3次元畳み込みを用いて空間的・時間的相関を捉えることで、3次元畳み込みを用いた3次元条件付き変分オートエンコーダ（3D-cVAE）を用いて、確率的潜在空間でマルチステップ光流予測をモデル化する。
• 1枚の画像から運動の流れを推論するために、3次元エンコーダとデコーダを備えた条件付きVAEを用い、多様な予測が得られるように確率的サンプリングを可能にする。
• 予測された光流に基づいてピクセルレベルのフレームを合成する「Flow2rgb」という光流からフレームへの生成モデルを導入。ワープに依存せず、新しい外観の生成を可能にする。
• 高次元のフレーム予測タスクを2段階に分解：まず光流予測を行い、次に光流に基づくフレーム合成を行う。これにより分布シフトを軽減し、多様体への適合性を向上させる。
• VGG-19特徴量とt-SNEを用いて生成シーケンスの分布を可視化・評価し、多様性とリアリズムを確認する。
• 知覚的指標と人間評価を用いてベースラインと比較。不確実性モデル化の評価のため、N(0,1)からサンプリングされたノイズ入力を用いる。

実験結果

リサーチクエスチョン

• RQ1 1枚の静止画に基づく動画予測モデルは、運動の不確実性をモデル化することで、多様で現実的な将来フレームのシーケンスを生成できるか？
• RQ2 光流予測とフレーム生成を分離することで、生成された動画シーケンスの品質と多様性が向上するか？
• RQ3 本手法は、人間の動き（例：人体）と動的テクスチャ（例：雲）の両方に対して、どの程度一般化できるか？
• RQ4 ランダムまたは決定的ベースラインと比較して、本モデルは実動画シーケンスのデータ多様体をどの程度保持しているか？
• RQ5 確率的サンプリング下での知覚的品質と多様性の観点から、先行研究と比較して本モデルの性能はどの程度か？

主な発見

• 定量的指標と人間評価の両方で、本手法が先行手法よりも多様で知覚的に現実的な将来の動画シーケンスを生成することを確認した。
• 確率的サンプリング下で、本モデルの予測はより高い多様性を示し、特徴空間上（t-SNE）でより広範囲に散らばり、ベースラインと比較して真値に近づいている。
• 知覚的類似度スコアでは、本手法は多様なノイズ入力に対しても、全時間ステップで真値との類似度を高い水準で維持している。
• 光流からフレームへの生成モデル（Flow2rgb）は、新しい外観を想像し、隠蔽を適切に処理することで、直接的なワープによる失敗を回避し、現実的なフレームを合成できた。
• 2段階設計（光流予測 → 光流に基づくフレーム合成）により、モデルが現実的でない動画多様体へ逸脱するのを防ぎ、全体の忠実度が向上した。
• 本手法は[8]を上回り、知覚的品質と多様性の両面で優れた性能を示した。知覚的指標の分散が低く、特徴空間上での予測分布が広がっている。