[論文レビュー] Stochastic Latent Residual Video Prediction

Jean-Yves Franceschi, Edouard Delasalles+3 more|arXiv (Cornell University)|Feb 21, 2020

Generative Adversarial Networks and Image Synthesis参考文献 82被引用数 40

ひとこと要約

本論文は、残差潜在ダイナミクス更新を備えた完全に潜在的な確率的ビデオ予測モデルを提案し、自己回帰的予測ではない将来予測と高いフレームレートの柔軟性を実現し、複数のベンチマークで最先端の結果を示します。

ABSTRACT

Designing video prediction models that account for the inherent uncertainty of the future is challenging. Most works in the literature are based on stochastic image-autoregressive recurrent networks, which raises several performance and applicability issues. An alternative is to use fully latent temporal models which untie frame synthesis and temporal dynamics. However, no such model for stochastic video prediction has been proposed in the literature yet, due to design and training difficulties. In this paper, we overcome these difficulties by introducing a novel stochastic temporal model whose dynamics are governed in a latent space by a residual update rule. This first-order scheme is motivated by discretization schemes of differential equations. It naturally models video dynamics as it allows our simpler, more interpretable, latent model to outperform prior state-of-the-art methods on challenging datasets.

研究の動機と目的

• 自己教師付きで将来の不確実性を捉える予測的ビデオモデルの学習を動機づける。
• 確率的残差更新規則を備えた完全に潜在的で自己回帰しない時系列モデルを提案する。
• 解釈性と効率性を向上させるため、ダイナミックな潜在状態の推移をフレーム合成から分離する。
• 静的なシーン情報を捉えるコンテンツ変数を組み込み、フレーム生成を支援する。
• 標準的な確率的ビデオ予測ベンチマークにおいてベースラインを上回る性能を示す。

提案手法

• フレームを、潜在状態 y_t からの生成として、確率的残差更新 y_{t+1}=y_t+f_theta(y_t,z_{t+1}) を用いてモデル化する。
• ダイナミクスを駆動する潜在的確率変数 z_{t+1} ~ N(mu_theta(y_t), sigma_theta(y_t)) を導入する。
• 条件付けフレームから導出されるコンテンツ変数 w を用いて静的なシーン情報を表現し、フレームデコーダへ供給する。
• y_1 および z_t に対する KL項を含む ELBO を用いた変分推論を適用し、さらに y_t および w による x_t の対数尤度項を含む。
• Delta t による制御可能なフレームレートを許容し、再学習なしで異なるフレームレートの生成を可能にする。
• ダイナミクスを安定化させるため、f_theta に残差正則化項を用いて学習する。
• CNNベースの生成器 g_theta を用いて、y_t と w から x_t をデコードする。

実験結果

リサーチクエスチョン

• RQ1 残差ダイナミクスを伴う完全に潜在的な確率モデルは、確率的ビデオ予測において自己回帰型や伝統的な SSM ベース手法を上回ることができるか？
• RQ2 コンテンツとダイナミクスを分離することは、学習効率と予測精度を向上させるか？
• RQ3 残差ダイナミクスの定式化は、学習時より高いフレームレートでの動画生成と互換性があるか？
• RQ4 提案モデルは、標準的な確率的ビデオ予測ベンチマークにおいて最先端のベースラインとどのように比較されるか？
• RQ5 Moving MNIST、KTH、Human3.6M、BAIR のようなデータセットに対して、多様な未来を堅牢に予測できるか？

主な発見

データセット	SV2P	SAVP	SVG	StructVRNN	提案法	提案法 - Δt/2	提案法 - MLP	提案法 - GRU
KTH	636 p m 1	374 p m 3	377 p m 6	—	222 p m 3	244 p m 3	255 p m 4	240 p m 5
Human3.6M	—	—	—	556 p m 9	416 p m 5	415 p m 3	582 p m 4	1050 p m 20
BAIR	965 p m 17	152 p m 9	255 p m 4	—	163 p m 4	222 p m 42	162 p m 4	178 p m 10

• KTH、Human3.6M、BAIR の複数の確率的ビデオ予測ベンチマークで最先端のベースラインを上回る。
• SVG より長期的ダイナミックモデリングが優れており、同じ残差フレームワークの ML P/GRU の競合的な亜種と互換性があることを示す。
• Delta t を半分にして再学習なしで高フレームレートの動画生成が可能で、性能を維持することを示す。
• 動的コンテンツ（y）を静的コンテンツ（w）から分離し、潜在空間でダイナミクスに焦点を当てられるようにする。
• 確率的潜在変数 z_t を用いる残差ダイナミクスは、純粋に決定論的または自己回帰的アプローチよりも利点を提供する。
• FVDスコアはデータセット全体で高い性能を示し、特にKTHとHuman3.6Mで顕著な改善を示す。