[論文レビュー] Emu Video: Factorizing Text-to-Video Generation by Explicit Image Conditioning

Rohit Girdhar, Mannat Singh+8 more|arXiv (Cornell University)|Nov 17, 2023

Video Analysis and Summarization被引用数 16

ひとこと要約

Emu Video はテキストからビデオ生成を、まずテキストから画像を作成し、次に画像とテキストを条件にビデオを生成することで、従来より高品質かつ時間的一貫性を達成します。

ABSTRACT

We present Emu Video, a text-to-video generation model that factorizes the generation into two steps: first generating an image conditioned on the text, and then generating a video conditioned on the text and the generated image. We identify critical design decisions--adjusted noise schedules for diffusion, and multi-stage training that enable us to directly generate high quality and high resolution videos, without requiring a deep cascade of models as in prior work. In human evaluations, our generated videos are strongly preferred in quality compared to all prior work--81% vs. Google's Imagen Video, 90% vs. Nvidia's PYOCO, and 96% vs. Meta's Make-A-Video. Our model outperforms commercial solutions such as RunwayML's Gen2 and Pika Labs. Finally, our factorizing approach naturally lends itself to animating images based on a user's text prompt, where our generations are preferred 96% over prior work.

研究の動機と目的

• 明示的な画像条件付けを強化して高品質なテキスト-to-動画生成を動機づける。
• 事前学習済みのテキスト-to-画像モデルを利用して空間的コンポーネントを初期化し固定し、時間的ダイナミクスを学習する。
• ゼロ端末SNR拡散スケジュールと多段階訓練により高解像度（512 px）の動画を実現する。
• 同じ分解フレームワークを用いて、ユーザー提供画像をアニメーション化するモデルの能力を示す。
• 動画の品質と忠実度を評価するロバストな人間評価プロトコル（JUICE）を提供する。）

提案手法

• テキストプロンプトから画像 I を生成し、次にテキストと I を条件に動画を生成する、二段階で T2V を分解する。
• 動画モデルを事前学習済みの T2I 拡散モデルから初期化し、空間パラメータを固定する；時間パラメータのみ学習する。
• 動画をフレームごとにエンコードされた潜在拡散過程として表現する；I とゼロパディングされたマスクを入力に連結して条件付けする。
• ゼロ端末SNR拡散スケジュールを用いて訓練分布とテスト分布を整合させ、高解像度生成を改善する。
• 再学習なしでフレームレートをアップサンプリングするための時系列補間モデルを導入する。
• 計算資源を管理するために2段階で訓練する（256px 8fps、次に 512px 4fps）、高解像度出力を実現。
• 高運動性・高品質クリップで微調整すると動きの忠実度が向上することもある。）
• 「HQ finetune」を用いた微調整により、動きとテキストプロンプトへの忠実度がさらに向上する。

実験結果

リサーチクエスチョン

• RQ1 画像と動画の条件付けによる分解が、直接的なテキストのみの T2V 手法と比較して視覚品質と時間的一貫性を向上させるか？
• RQ2 ゼロ端末SNR拡散スケジュールと多段階訓練で、深いカスケードなしに高解像度（512 px）の動画生成を可能にするか？
• RQ3 空間パラメータを凍結し、時間ダイナミクスを学習することは、T2I バックボーンからの多様性とスタイル転送にどのように影響するか？
• RQ4 同じ分解フレームワークを用いて、ユーザー提供画像を効果的にアニメーション化できるか？
• RQ5 JUICE スキームを用いた T2V の品質と忠実度の人間判断の信頼性はどの程度か？

主な発見

方法	Q	F
Factorized	70.5	63.3
Zero SNR	96.8	88.3
Multi-stage	81.8	84.1
HQ finetune	65.1	79.6
Frozen spatial	55.0	58.1

• 分解型生成（テキスト + 画像条件付け）は、直接的なテキストのみの動画生成より品質と忠実度の双方で優れている。
• ゼロ端末SNR拡散スケジュールは高解像度（512px）の動画生成を大幅に改善する。
• 多段階・多解像度訓練は、512px で直接訓練するよりも良い結果を生む； 多くの訓練は効率のため 256px ステージに割り当てられる。
• 高品質な微調整は動きとテキストプロンプトへの忠実度をさらに向上させる。
• 空間パラメータを凍結して時間要素を訓練することで、より良い動画を得られ、訓練コストを削減する。
• Emu Video は品質と忠実度の人間評価で従来の研究や商用ソリューションを凌駕し、ピクセルのシャープさと動きの滑らかさで大きな利得を示す。