[論文レビュー] MCVD: Masked Conditional Video Diffusion for Prediction, Generation, and Interpolation

Vikram Voleti, Alexia Jolicoeur‐Martineau+1 more|arXiv (Cornell University)|May 19, 2022

Generative Adversarial Networks and Image Synthesis被引用数 46

ひとこと要約

MCVD は、過去/未来のフレームブロックを訓練データとしてマスク付き条件付き拡散フレームワークを用いてビデオ予測、無条件生成、補間を統一し、効率的なブロック単位の自己回帰生成を実現して、最先端の結果を達成します。

ABSTRACT

Video prediction is a challenging task. The quality of video frames from current state-of-the-art (SOTA) generative models tends to be poor and generalization beyond the training data is difficult. Furthermore, existing prediction frameworks are typically not capable of simultaneously handling other video-related tasks such as unconditional generation or interpolation. In this work, we devise a general-purpose framework called Masked Conditional Video Diffusion (MCVD) for all of these video synthesis tasks using a probabilistic conditional score-based denoising diffusion model, conditioned on past and/or future frames. We train the model in a manner where we randomly and independently mask all the past frames or all the future frames. This novel but straightforward setup allows us to train a single model that is capable of executing a broad range of video tasks, specifically: future/past prediction -- when only future/past frames are masked; unconditional generation -- when both past and future frames are masked; and interpolation -- when neither past nor future frames are masked. Our experiments show that this approach can generate high-quality frames for diverse types of videos. Our MCVD models are built from simple non-recurrent 2D-convolutional architectures, conditioning on blocks of frames and generating blocks of frames. We generate videos of arbitrary lengths autoregressively in a block-wise manner. Our approach yields SOTA results across standard video prediction and interpolation benchmarks, with computation times for training models measured in 1-12 days using $\le$ 4 GPUs. Project page: https://mask-cond-video-diffusion.github.io ; Code : https://github.com/voletiv/mcvd-pytorch

研究の動機と目的

• 高品質で汎用的なビデオ予測と生成の課題を、さまざまなタスク（予測、生成、補間）に対して動機づける。
• フレームをマスクすることによって複数のビデオ合成タスクを処理できる、単一の確率的条件付きスコアベース拡散モデルを提案する。
• 現実的な計算予算（≤4 GPUs）内で長距離のビデオ合成を可能にする、ブロック単位の自己回帰生成アプローチを開発する。
• 空間-時間変動正規化を用いたSPATIN条件付けを備えた畳み込みU-Netアーキテクチャを導入し、明示的なフローや再帰なしに時空動態をモデル化する。

提案手法

• フォワード拡散過程 q_t と、ε_θ によるノイズ除去ニューラルネットワークを用いたリバース過程 p_t を備えるスコアベース拡散モデルを利用する。
• 訓練中に過去および/または未来のフレームブロックをランダムなマスキング（過去フレームおよび/または未来フレームのマスキング確率 Bi(p_mask)）を介して条件付けする。
• マスク付き過去/未来フレームを条件とする統一損失（式としての L(θ)）を用いて、未来/過去の予測、無条件生成、補間を扱える単一ネットワークを訓練する。
• 1回のステップで複数フレームを生成するブロック単位の自己回帰方式を採用し、長いシーケンスを実現する。
• ノイズレベルの埋め込みを用いた時間条件付けを含む、ノイズの現在フレームと条件付きフレームを統合するSPATIN（space-time adaptive normalization）を用いたU-Netを使用する。
• 結合入力およびSPATIN条件付けを含むバリエーションを評価して、性能トレードオフを検討する。

実験結果

リサーチクエスチョン

• RQ1 ランダムにマスクされた過去および/または未来フレームによって条件付けられた単一の拡散ベースモデルは、ビデオ予測、無条件生成、補間を実行できるか。
• RQ2 過去/未来のマスキングは、タスクとデータセット全体で一般化と品質を改善するか。
• RQ3 ブロック単位の自己回帰生成は、長期的一貫性と効率の点でフレームごとまたは完全に無条件生成と比べてどうか。
• RQ4 品質とメモリ使用量のバランスにおいて、SPATIN 対 concatenation のどのアーキテクチャ条件付けが最良か。

主な発見

• SMMNIST、BAIR、Cityscapes のビデオ予測ベンチマークで最先端の結果を達成。
• SMMNIST、KTH、BAIR での補間性能が高く、しばしば専門の補間手法を上回る。
• 過去マスキングは正則化として、マスクなしのベースラインと比較して予測・生成・補間タスクの性能を改善。
• 単一の MCVD モデルで無条件生成と条件付き予測を共同学習でき、比較的控えめな計算量で競争力のあるまたは優れた結果を達成（訓練時間は ≤4 GPUs で 1–12 日）。
• ブロック単位の自己回帰生成は、光学的流れや再帰モジュールに明示的に依存せずに、長いビデオシークエンスを高品質かつ一貫性を保って生成可能にする。