[論文レビュー] I2VGen-XL: High-Quality Image-to-Video Synthesis via Cascaded Diffusion Models

Shiwei Zhang, Jiayu Wang+7 more|arXiv (Cornell University)|Nov 7, 2023

Generative Adversarial Networks and Image Synthesis被引用数 22

ひとこと要約

I2VGen-XLは、二段階のカスケード拡散フレームワークを用いて、二重エンコーダと高解像度出力のためのリファインメント段階を組み合わせ、単一の画像から高品質な動画を生成します。

ABSTRACT

Video synthesis has recently made remarkable strides benefiting from the rapid development of diffusion models. However, it still encounters challenges in terms of semantic accuracy, clarity and spatio-temporal continuity. They primarily arise from the scarcity of well-aligned text-video data and the complex inherent structure of videos, making it difficult for the model to simultaneously ensure semantic and qualitative excellence. In this report, we propose a cascaded I2VGen-XL approach that enhances model performance by decoupling these two factors and ensures the alignment of the input data by utilizing static images as a form of crucial guidance. I2VGen-XL consists of two stages: i) the base stage guarantees coherent semantics and preserves content from input images by using two hierarchical encoders, and ii) the refinement stage enhances the video's details by incorporating an additional brief text and improves the resolution to 1280$ imes$720. To improve the diversity, we collect around 35 million single-shot text-video pairs and 6 billion text-image pairs to optimize the model. By this means, I2VGen-XL can simultaneously enhance the semantic accuracy, continuity of details and clarity of generated videos. Through extensive experiments, we have investigated the underlying principles of I2VGen-XL and compared it with current top methods, which can demonstrate its effectiveness on diverse data. The source code and models will be publicly available at \url{https://i2vgen-xl.github.io}.

研究の動機と目的

• 画像から動画への合成を改善するために、セマンティック整合性を時空的精緻化から分離する。
• 入力画像の内容を保持しつつ、現実的な動きと高精細な動画出力を実現する。
• 大規模なテキスト画像データとテキスト動画データを活用して多様性と頑健性を高める。
• 静止画像をガイダンスとして用いることで、完璧に整合したテキスト-動画データへの依存を低減する。
• 定性的・比較分析を通じて、二段階パイプラインの有効性を示す。

提案手法

• カスケード式の二段階拡散フレームワーク（ベース段階とリファインメント段階）を使用する。
• ベース段階は、固定のCLIPエンコーダと学習可能なコンテンツエンコーダという二つの階層的エンコーダを用いて、セマンティック整合性とコンテンツ保持のための高次意味と低次のディテールを抽出する。
• リファインメント段階は1280x720へアップサンプリングし、短いテキストプロンプトに条件付けられた別の高解像度拡散モデルを使用してディテールと時空的連続性を向上させる。
• ベース段階は、グローバルな特徴とディテール特徴をクロスアテンションを介して3D UNetに統合し、フレーム間で入力コンテンツを保持する。
• リファインメント段階は、低解像度の動画にノイズ付与・除去プロセス（SDEditスタイル）を適用し、CLIPでエンコードされたテキストを条件として品質を向上させる。
• トレーニングは事前学習済みの空間コンポーネント（SD2.1）を組み込み、制御されたファインチューニングを実施し、二段階のレジメンには高解像度ファインチューニングと最終的なone-million-videoサブセットリファインメントを含む。

実験結果

リサーチクエスチョン

• RQ1 カスケード拡散フレームワークは、画像から動画への合成においてセマンティック正確さと時空的連続性を改善できるか。
• RQ2 静止入力画像をガイダンスとして使用し、リファインメントでの短いテキストと組み合わせると、単一段階手法よりも高品質な高精細動画が得られるか。
• RQ3 セマンティクスをリファインメントから分離することが、生成動画の内容保持と動きの現実感にどう影響するか。
• RQ4 大規模で多様な画像-テキストおよび動画-テキストデータがモデルの頑健性と多様性に与える影響は何か。
• RQ5 リファインメント段階は、低解像度から高解像度へ解像度を上げつつ内容を保持するのにどれほど効果的か。

主な発見

• I2VGen-XLは、定性的比較において先行手法と比較してより現実的で多様な動作を生成する。
• ベース段階は、低解像度で整合のとれたセマンティクスを達成しつつ入力画像の内容を保持する。
• リファインメント段階は高解像度で空間的詳細を著しく向上させ、アーティファクトを削減し、時間的連続性を強化する。
• 周波数領域分析は、リファインメントモデルが低頻度成分を保持し、高頻度のディテールを強化し、中間頻度のアーティファクトを減らすことを示唆している。
• 画像誘導ベース生成とテキスト条件付きリファインメントを組み合わせることで、セマンティック整合性を維持しつつ高解像度の動画出力を実現する。