[論文レビュー] Flexible Diffusion Modeling of Long Videos

William R. Harvey, Saeid Naderiparizi+3 more|arXiv (Cornell University)|May 23, 2022

Generative Adversarial Networks and Image Synthesis被引用数 102

ひとこと要約

Flexible Diffusion Model (FDM) を導入。DDPMベースのフレームワークで、任意の他のサブセットに条件付けて任意のサブセットのフレームをサンプリングでき、長時間の動画生成/補完やデータセット固有のサンプリングスキームの最適化を可能にする。CARLA Town01 データセットを公開。

ABSTRACT

We present a framework for video modeling based on denoising diffusion probabilistic models that produces long-duration video completions in a variety of realistic environments. We introduce a generative model that can at test-time sample any arbitrary subset of video frames conditioned on any other subset and present an architecture adapted for this purpose. Doing so allows us to efficiently compare and optimize a variety of schedules for the order in which frames in a long video are sampled and use selective sparse and long-range conditioning on previously sampled frames. We demonstrate improved video modeling over prior work on a number of datasets and sample temporally coherent videos over 25 minutes in length. We additionally release a new video modeling dataset and semantically meaningful metrics based on videos generated in the CARLA autonomous driving simulator.

研究の動機と目的

• 短いシークエンスを超えた、コヒーレントでフォトリアルな長時間動画生成の課題に対処する。
• テスト時に任意の過去/未来フレームの数に条件付けをサポートするメタ学習目的を持つ条件付き DDPM を訓練する。
• 計算資源の制約と動画品質のバランスを取るためのサンプリングスキームの探索と最適化。
• 新しい自動運転ビデオデータセット（CARLA Town01）と動画モデリングの意味論ベースの評価指標の導入。

提案手法

• 時間的アテンションと新しい相対フレーム位置エンコーディングを備えた、DDPMベースの画像アーキテクチャを拡張する。
• 固定計算資本 K の下で、任意の過去/未来フレームの数に条件付けをサポートするメタ学習目的を持つ条件付き DDPM を訓練する。
• 潜在フレーム指標と観測フレーム指標にわたる広範な訓練タスク分布 u(X, Y) を定義し、可変フレームセット全体での柔軟な条件付けの学習を可能にする。
• 動画を4-Dテンソルとして表現し、時間的・空間的アテンションを備えた4-D U-Net を用いてフレーム間の情報を伝播させる。
• 固定バッチサイズ内で可変長の条件付けを効率的に扱うため、訓練時のバッチパディングを実装する。
• 複数のテスト時サンプリングスキーム（Autoregressive, Long-range, Hierarchy variant）を提供し、拡散損失を最小化する条件付けフレームを選択する最適化手順を提供する。

実験結果

リサーチクエスチョン

• RQ1 テスト時に拡散ベースの動画モデルを任意のフレームサブセットに条件付けするにはどうすればよいか？
• RQ2 1つのモデルを訓練して多様な条件付けタスクに対応しつつ、計算資源の制約の下で高品質な長時間動画を提供できるか？
• RQ3 異なるデータセットに対して、動画の忠実度と一貫性の最適なトレードオフをもたらすサンプリングスキームはどれか？
• RQ4 テスト時の条件付け戦略の最適化は、固定スキームと比較して定量的な動画モデリング指標を改善するか？
• RQ5 運転シミュレーション環境で生成された長時間動画を評価する意味論ベースの指標は何か？

主な発見

Model	Sampling scheme	FVD (GQN-Mazes)	Accuracy (MineRL)	FVD (CARLA Town01)	WD (CARLA Town01)	OP (CARLA Town01)
CWVAE	CWVAE	837±8	82.6±0.5	1573±5	1161	0.666	44.4
TATS	TATS	163±2.6	77.0±0.8	807±14	329	1.648	42.4
VDM	VDM	66.7±1.5	77.8±0.5	271±8.8	169	0.501	16.9
FDM Autoreg	Autoreg	86.4±5.2	69.6±1.3	281±10	222	0.579	0.51
Long-range	Long-range	64.5±1.9	77.0±1.4	267±4.0	213	0.653	0.47
Hierarchy-2	Hier.2	53.1±1.1	82.8±0.7	275±7.7	120	0.318	3.28
Hierarchy-3	Hier.3	53.7±1.9	83.8±1.1	311±6.8	149	0.363	4.53
Ad. hierarchy-2	Adaptive Hier-2	55.0±1.4	83.2±1.3	316±8.9	117	0.311	3.44

• FDM は、データセットを跨いで任意のフレームサブセットを条件付けた長時間動画（最大25分）のサンプリングを可能にする。
• さまざまなサンプリングスキーム（Autoregressive、Long-range、Hierarchy variant）はデータセット依存の性能を示し、階層型 schemes は一部のタスクで FVD を向上させることが多い一方、Autoregressive は他のタスクで優れる。
• オフラインスキーム最適化（Opt. autoreg、Opt. hierarchy-2）を用いた条件付けフレームの最適化は、いくつかのデータセットで FVD および関連指標を改善する。
• ベースライン（CWVAE、TATS、VDM）と比較して、FDM はデータセットとスキームに応じて低い FVD や高い精度を達成し、再訓練なしでテスト時にスキームを探索する柔軟性を提供する。
• 新しい CARLA Town01 ビデオデータセットが、長時間動画のリアリズムと意味論的一貫性を評価するための意味論指向の評価（外れ値割合、ワッサースタイン距離）と共に公開された。