[論文レビュー] VideoDreamer: Customized Multi-Subject Text-to-Video Generation with Disen-Mix Finetuning on Language-Video Foundation Models

Hong Chen, Xin Wang+6 more|arXiv (Cornell University)|Nov 2, 2023

Advanced Vision and Imaging被引用数 6

ひとこと要約

この論文では、分離混合微調整（Disen-Mix fine-tuning）と人間によるフィードバックを活用した再微調整（Human-in-the-Loop Re-finetuning）を用いることで、被写体の同一性を保持し、属性の束縛を軽減する、カスタマイズ可能なマルチサブジェクトテキストから動画への生成を実現する新規フレームワーク、VideoDreamerを紹介する。本研究は、提案された MultiStudioBench ベンチマークにおいて最先端の性能を達成し、時間的に一貫性があり高精細な動画を生成する一方で、複数のユーザー定義被写体の視覚的特徴を忠実に再現している。

ABSTRACT

Customized text-to-video generation aims to generate text-guided videos with user-given subjects, which has gained increasing attention. However, existing works are primarily limited to single-subject oriented text-to-video generation, leaving the more challenging problem of customized multi-subject generation unexplored. In this paper, we fill this gap and propose a novel VideoDreamer framework, which can generate temporally consistent text-guided videos that faithfully preserve the visual features of the given multiple subjects. Specifically, VideoDreamer adopts the pretrained Stable Diffusion with temporal modules as its base video generator, taking the power of the text-to-image model to generate diversified content. The video generator is further customized for multi-subjects, which leverages the proposed Disen-Mix Finetuning and Human-in-the-Loop Re-finetuning strategy, to tackle the attribute binding problem of multi-subject generation. Additionally, we present a disentangled motion customization strategy to finetune the temporal modules so that we can generate videos with both customized subjects and motions. To evaluate the performance of customized multi-subject text-to-video generation, we introduce the MultiStudioBench benchmark. Extensive experiments demonstrate the remarkable ability of VideoDreamer to generate videos with new content such as new events and backgrounds, tailored to the customized multiple subjects.

研究の動機と目的

• 複数のユーザー定義被写体を生成された動画内で保持する必要がある、カスタマイズ可能なマルチサブジェクトテキストから動画への生成分野における研究の不足に対処すること。
• 異なる被写体の視覚的特徴が生成フレーム内で混同され、区別がつかなくなる「属性の束縛問題」を克服すること。
• 被写体の同一性を保持しつつ、高い時間的整合性とテキスト忠実度を維持する微調整戦略を開発すること。
• カスタマイズ可能なマルチサブジェクトテキストから動画への生成モデルを評価するための包括的ベンチマーク、MultiStudioBench を導入すること。
• 新しい出来事や背景を含む動画を生成しつつ、複数のカスタマイズ可能な被写体を忠実に統合すること。

提案手法

• 潜在変数の動きダイナミクスと時系列クロスフレームアテンションを用いて、事前学習済みの Stable Diffusion モデルを微調整し、ベースとなる動画生成器とする。
• 分離混合微調整（Disen-Mix fine-tuning）を提案。これは、補助タスクとして混合被写体画像のノイズ除去を実行することで、被写体特徴を分離し、人工的な接合を低減する。
• 過学習を防ぎ、一般化性能を向上させるために、共有された被写体同一性条件、共有された接合条件、画像固有の埋め込みを用いる。
• 人間によるフィードバックを活用した反復的微調整（Human-in-the-Loop Re-finetuning, HLR）を導入。これにより、画像混合に起因する視覚的アーティファクトを低減する。
• Disen-Mix と HLR を組み合わせたマルチステージの微調整パイプラインを採用し、被写体の忠実度を向上させ、視覚的アーティファクトを低減する。
• 被写体の忠実度、プロンプト適合性、時間的整合性、アーティファクトレベルを評価するため、多様な被写体とプロンプトを含む MultiStudioBench を使用する。

実験結果

リサーチクエスチョン

• RQ1 テキストから動画生成モデルは、1つの動画内で複数のユーザー定義被写体の視覚的同一性を効果的に保持できるか？
• RQ2 マルチサブジェクトテキストから動画への生成において、属性の束縛問題はどのように軽減できるか？
• RQ3 ベースライン手法と比較して、Disen-Mix 微調整は視覚的アーティファクトをどれほど低減し、被写体の分離をどれほど向上させるか？
• RQ4 人間によるフィードバックを活用した再微調整（HLR）は、モデル出力の精錬と人工的な接合効果の低減にどの程度効果的か？
• RQ5 提案されたフレームワークは、新しい出来事や背景を含む動画を生成しつつ、高い被写体忠実度と時間的整合性を維持できるか？

主な発見

• VideoDreamer は、比較対象手法の中で最高の DINO スコア（0.501）と最小の ステッチスコア（0.036）を達成しており、被写体同一性の優れた保持と最小限のアーティファクトを示している。
• 人間によるフィードバックを活用した再微調整により、3被写体設定でのステッチスコアは 0.178 から 0.045 に低下し、視覚的接合問題が顕著に軽減された。
• アブレーションスタディの結果、画像固有の埋め込みと共有された接合条件（PN）の両方が不可欠であることが確認され、それらを削除するとステッチスコアは 0.287 に上昇した。
• VideoDreamer は、DreamBooth や SVDiff よりもすべての指標で優れている。高水準の CLIP-T（0.306）と時間的整合性（0.943）を維持しながら、アーティファクトを最小限に抑えている。
• 定性的な結果から、VideoDreamer は被写体の同一性を忠実に保持し、新しい出来事や背景を含む一貫性のある動画を生成できている。一方、ベースライン手法は同一性の混乱やアーティファクトを抱える傾向にあった。
• 本フレームワークは、多様な被写体の組み合わせや複雑なプロンプト、特に複数の出来事や複数の環境を含むシナリオにおいても、強力な一般化性能を示している。