[論文レビュー] High Fidelity Video Prediction with Large Stochastic Recurrent Neural Networks

Ruben Villegas, Arkanath Pathak+4 more|arXiv (Cornell University)|Nov 5, 2019

Image and Video Quality Assessment被引用数 73

ひとこと要約

この論文は、最小限の帰納的バイアスと大規模な確率的再帰モデルのスケーリングが、オブジェクト相互作用、人間の動作、運転データセットにおける最先端の動画予測を達成し、より小さなベースラインやCNNベースを上回り、再帰と確率性が有益であることを示している。

ABSTRACT

Predicting future video frames is extremely challenging, as there are many factors of variation that make up the dynamics of how frames change through time. Previously proposed solutions require complex inductive biases inside network architectures with highly specialized computation, including segmentation masks, optical flow, and foreground and background separation. In this work, we question if such handcrafted architectures are necessary and instead propose a different approach: finding minimal inductive bias for video prediction while maximizing network capacity. We investigate this question by performing the first large-scale empirical study and demonstrate state-of-the-art performance by learning large models on three different datasets: one for modeling object interactions, one for modeling human motion, and one for modeling car driving.

研究の動機と目的

• 高品質な動画予測に対して、最小限の帰納的バイアスと大容量が十分であるかを調査する。
• 再帰的アーキテクチャと非再帰的アーキテクチャの影響を評価する。
• 不確実な未来予測における確率性の役割を評価する。
• 多様なデータセット（オブジェクト相互作用、人間の動作、運転）で非常に大規模なモデルを訓練してスケーラビリティを示す。

提案手法

• 光学フローや手作りのバイアスを用いない基準として、Stochastic Video Generation (SVG) をベースに構築する。
• ネットワークを拡張するために、因子 K (エンコーダ/デコーダ) と M (LSTMサイズ) を用いてモデル容量を増加させる。
• 畳み込みLSTMを用いて後方分布と生成分布を扱い、ガウス z_t 潜在変数を用い、β重み付きKL項を含む変分下界で最適化する。
• すべてのモデルで ground-truth フレームに対して l1 復元損失で訓練する。
• アブレーション研究（確率性、再帰性）と容量スケーリングを通じてCNN、LSTM、SVG’ の変種を比較する。
• フレームごとの指標（PSNR、SSIM、VGG コサイン）、ダイナミクス指標（FVD）、および人間の AMT 評価で評価する。

実験結果

リサーチクエスチョン

• RQ1 最小限の帰納的バイアスでモデル容量を最大化すると、動画予測品質は向上するか。
• RQ2 再帰性と確率性の要素は現実的な未来フレーム生成に不可欠か。
• RQ3 多様なデータセットで、より大きなエンコーダ/デコーダおよびLSTM容量により性能はどのようにスケールするか。
• RQ4 容量を増やした場合、再帰と非再帰の寄与は相対的にどの程度か。

主な発見

• 最小限の帰納的バイアスを持つ大容量モデルは、定性的にも定量的にもより良い動画予測を得る。
• 再帰モデル（LSTM、SVG’）は非再帰的CNNベースラインを上回り、予測に再帰性が重要であることを示す。
• 確率的モデルは決定論的な counterparts を上回り、特に不確実性や複数の妥当な未来が想定されるときに有利。
• モデル容量の向上は、towel-pick、Human3.6M、KITTI データセットで顕著なFVDの改善につながる。
• 人間の評価では、ほとんどのケースで大容量の確率的モデルがベースラインより好まれ、規模の拡大に伴い知覚上のリアリズムが向上する。
• 高解像度の実験では、より大きなモデルがよりシャープで現実的なフレームを生成できることを示している。