[論文レビュー] DreamVideo: Composing Your Dream Videos with Customized Subject and Motion

Yujie Wei, Shiwei Zhang+7 more|arXiv (Cornell University)|Dec 7, 2023

Generative Adversarial Networks and Image Synthesis被引用数 6

ひとこと要約

DreamVideoは、軽量なアイデンティティおよびモーションアダプタを用いて、被写体のアイデンティティとモーションの学習を分離することで、2段階の拡散ベース手法を導入し、少数の画像および動画を用いて被写体の外見とモーションパターンの両方をカスタマイズする。この手法は、忠実度、アイデンティティ保持、モーション多様性の面で、先行手法を上回る最先端のパフォーマンスを達成している。

ABSTRACT

Customized generation using diffusion models has made impressive progress in image generation, but remains unsatisfactory in the challenging video generation task, as it requires the controllability of both subjects and motions. To that end, we present DreamVideo, a novel approach to generating personalized videos from a few static images of the desired subject and a few videos of target motion. DreamVideo decouples this task into two stages, subject learning and motion learning, by leveraging a pre-trained video diffusion model. The subject learning aims to accurately capture the fine appearance of the subject from provided images, which is achieved by combining textual inversion and fine-tuning of our carefully designed identity adapter. In motion learning, we architect a motion adapter and fine-tune it on the given videos to effectively model the target motion pattern. Combining these two lightweight and efficient adapters allows for flexible customization of any subject with any motion. Extensive experimental results demonstrate the superior performance of our DreamVideo over the state-of-the-art methods for customized video generation. Our project page is at https://dreamvideo-t2v.github.io.

研究の動機と目的

• 拡散ベースのモデルにおいて、まだ十分に検討が進んでいない被写体アイデンティティとモーションの両方を同時にカスタマイズする課題に対処すること。
• 既存手法が被写体またはモーションのいずれかの最適化に限定されているため、一般化性能が低下するという限界を克服すること。
• 被写体とモーションの学習を2つの軽量でトレーニング可能なアダプタに分離することで、柔軟で効率的かつ高忠実度の動画生成を実現すること。
• 多様な被写体-モーションコンビネーションにおける広範な定性的および定量的実験を通じて、提案手法の有効性を検証すること。

提案手法

• 本手法は、事前学習済みの動画拡散モデルを用い、重みが固定されたバックボーンを採用することで、動画カスタマイズを2段階に分離する：被写体学習とモーション学習。
• 被写体学習では、まずテキスト的アイデンティティがTextual Inversionを用いて最適化され、その後、入力画像からの詳細な外見特徴を捉えるためにカスタムアイデンティティアダプタの微調整が行われる。
• モーション学習では、入力のモーション動画に対してモーションアダプタを訓練し、CLIPでエンコードされた画像特徴を外見ガイドとして用いることで、外見特徴の学習を防ぎ、モーションパターンにのみ注力する。
• 推論時には、2つの軽量アダプタを組み合わせ、任意の訓練画像を用いて外見ガイドとして用いることで、望ましいモーションを持つパーソナライズド動画を生成する。
• すべてのトランスフォーマーレイヤーに並列アダプタを適用することで、パフォーマンスを向上させ、パラメータの融合競合を回避する。
• 元のモデル重みを変更しないため、安定性と事前学習済み拡散モデルとの互換性を保証する。

実験結果

リサーチクエスチョン

• RQ1 拡散ベースの動画生成モデルは、被写体アイデンティティとモーションパターンの両方を同時に効果的にカスタマイズできるか？
• RQ2 被写体とモーションのカスタマイズをどのように分離することで、柔軟性を高め、最適化の複雑さを低減できるか？
• RQ3 専用のアイデンティティおよびモーションアダプタを用いることで、LoRAのようなパラメータ効率の良い微調整手法を上回る性能が得られるか？
• RQ4 少数ショットの入力から、被写体アイデンティティをどれほど正確に保持し、多様で正確なモーションパターンを生成できるか？
• RQ5 複雑またはレアな被写体-モーションコンビネーションを扱う際、本手法の失敗モードや限界は何か？

主な発見

• 広範な定性的および定量的評価を通じて、DreamVideoは最先端の手法と比較して、パーソナライズド動画生成において優れたパフォーマンスを達成している。
• 本手法は、多様な文脈において被写体アイデンティティを効果的に保持し、入力のモーション動画に密接に一致するモーションパターンを生成している。
• アブレーションスタディの結果、アイデンティティアダプタおよびモーションアダプタの両方が不可欠であり、いずれかを除去すると性能が著しく低下することが確認された。
• アダプタベースのアプローチは、LoRAを上回る性能を発揮しており、特にパラメータの融合競合を回避し、空間的および時間的制御の調和的な組み合わせを可能にする点で優れている。
• 本手法は、複雑またはレアなペアリングを含む任意の被写体-モーションコンビネーションの動画生成において、強靭性を示しているが、極めて不審な、または複数のオブジェクトを含む組み合わせでは一部の失敗ケースが存在する。
• 失敗ケースは、ベースモデルの能力に起因する限界を明らかにしている。具体的には、意味的に稀なコンビネーション（例：「狼が自転車を走破する」）の動画生成が不可能である、または細かすぎるモーション動画におけるフレーム単位の正確なモーション転送が困難であるなどの問題が挙げられる。