[論文レビュー] Dual-Stream Diffusion Net for Text-to-Video Generation

Binhui Liu, Xin Liu+5 more|arXiv (Cornell University)|Aug 16, 2023

Generative Adversarial Networks and Image Synthesis被引用数 6

ひとこと要約

本稿では、動画の内容と動きを2つの別々の拡散ストリームに分離するDual-Stream Diffusion Net (DSDN) を提案する。動きを専用のブランチとしてモデル化し、動き分解器/組み合わせモジュールを統合することで、フレーム間のちらつきを低減し、視覚的連続性と多様性を向上させる。クロスアテンションを用いたクロスストリーム相互作用により、時間的整合性が向上し、定量的および定性的な評価において先行手法を上回る性能を発揮する。

ABSTRACT

With the emerging diffusion models, recently, text-to-video generation has aroused increasing attention. But an important bottleneck therein is that generative videos often tend to carry some flickers and artifacts. In this work, we propose a dual-stream diffusion net (DSDN) to improve the consistency of content variations in generating videos. In particular, the designed two diffusion streams, video content and motion branches, could not only run separately in their private spaces for producing personalized video variations as well as content, but also be well-aligned between the content and motion domains through leveraging our designed cross-transformer interaction module, which would benefit the smoothness of generated videos. Besides, we also introduce motion decomposer and combiner to faciliate the operation on video motion. Qualitative and quantitative experiments demonstrate that our method could produce amazing continuous videos with fewer flickers.

研究の動機と目的

• テキストから動画を生成する際のちらつきや整合性の欠如、特に時間的フレーム遷移における問題を解決すること。
• フレーム間の動きの整合性と視覚的連続性を向上させつつ、コンテンツの多様性を維持すること。
• 動きをコンテンツ生成とは別個の専用拡散ストリームとしてモデル化することで、より良い制御性と品質を実現すること。
• ノイズ除去プロセス中にコンテンツと動きの表現を一致させるために、クロスアテンション相互作用機構を設計すること。
• 動画生成における動き表現の効果的かつ柔軟な操作を可能にするために、動き分解器および組み合わせモジュールを導入すること。

提案手法

• モデルは二重ストリームアーキテクチャを採用：コンテンツストリームは事前学習済みのテキストから画像への拡散モデルに基づき、動きストリームは3次元U-Netを用いて時間的ダイナミクスをモデル化する。
• コンテンツストリームと動きストリームは独立して学習されるが、ノイズ除去プロセス中にクロスアテンションを可能にするクロストランスフォーマー相互作用モジュールによって一致させる。
• コンテンツストリームは、ベースモデルを超えるパーソナライズドなコンテンツ変異を学習するインクリメンタルユニットで強化される。
• 動きストリームは、動きを分離可能な成分に分解する動き分解器と、整合的な動きシーケンスを再構築する動きコンビナータを備える。
• 2つのストリーム間のクロスアテンションにより、それぞれのストリームが相手の特徴に注目できるようになり、時間的整合性が向上し、ちらつきが低減する。
• インクリメンタルコンテンツユニットのファインチューニングにより、ベースモデルの汎化性能を保ちつつ、パーソナライズドな動画生成が可能になる。

実験結果

リサーチクエスチョン

• RQ1 コンテンツと動きを別々の拡散ストリームに分離することで、テキストから動画を生成する際の時間的整合性が向上するか？
• RQ2 コンテンツストリームと動きストリーム間のクロスアテンションは、ちらつきの低減と視覚的連続性の向上にどの程度効果的か？
• RQ3 統合的モデリングと比較して、専用の動きブランチが、動きの多様性とリアリズムをどの程度向上できるか？
• RQ4 動き分解器およびコンビナータモジュールは、より優れた動き表現と制御性を実現するためにどのように寄与するか？
• RQ5 インクリメンタルコンテンツユニットは、ベースモデルを超える視覚的品質と多様性にどのような影響を与えるか？

主な発見

• 提案されたDSDN手法は、フレーム間の滑らかな遷移を示す定性的な結果から、ちらつきが顕著に低減され、時間的整合性が向上していることが確認された。
• モデルは、さまざまな行動（例：猫が異なる方向に歩行）や視覚的特徴（例：毛の色、ポーズ）を含む高いコンテンツ多様性を持つ動画を生成した。
• アブレーションスタディの結果、動きユニットを削除するとフレーム単位の不整合と時間的連続性の欠如が生じ、その重要性が明確に示された。
• インクリメンタルコンテンツユニットは視覚的品質と安定性を向上させ、視点のずれを防ぎ、テキストプロンプトとの整合性を高めた。
• 動きユニットの可視化結果から、腕の振り、髪の乱れ、身体の動きといった動的キューを正確にモデル化していることが確認された。
• 本手法は多様なプロンプトに対して頑健な性能を発揮し、背景干渉によるわずかな色の不一致など、稀な失敗例を除き、良好な結果を得た。