[論文レビュー] CustomVideo: Customizing Text-to-Video Generation with Multiple Subjects

Zhao Wang, Aoxue Li+4 more|arXiv (Cornell University)|Jan 18, 2024

Generative Adversarial Networks and Image Synthesis被引用数 4

ひとこと要約

CustomVideo は、複数の被写体を保持する高精細な動画合成を可能にする、テキストから動画を生成するための画期的なフレームワークを提案する。本手法は、共起学習とマスク誘導型アテンション制御を用い、潜在空間における被写体の分離を実現し、視覚的に類似した物体や複雑なシーンにおいても、先行手法を著しく上回る性能を発揮する。

ABSTRACT

Customized text-to-video generation aims to generate high-quality videos guided by text prompts and subject references. Current approaches for personalizing text-to-video generation suffer from tackling multiple subjects, which is a more challenging and practical scenario. In this work, our aim is to promote multi-subject guided text-to-video customization. We propose CustomVideo, a novel framework that can generate identity-preserving videos with the guidance of multiple subjects. To be specific, firstly, we encourage the co-occurrence of multiple subjects via composing them in a single image. Further, upon a basic text-to-video diffusion model, we design a simple yet effective attention control strategy to disentangle different subjects in the latent space of diffusion model. Moreover, to help the model focus on the specific area of the object, we segment the object from given reference images and provide a corresponding object mask for attention learning. Also, we collect a multi-subject text-to-video generation dataset as a comprehensive benchmark. Extensive qualitative, quantitative, and user study results demonstrate the superiority of our method compared to previous state-of-the-art approaches. The project page is https://kyfafyd.wang/projects/customvideo.

研究の動機と目的

• 複数のカスタマイズ可能な被写体を含む高品質な動画生成という、既存のテキストから動画へのモデルが十分に検討していない課題に取り組む。
• 複数の被写体が一貫して共現しないことや、視覚的に類似した物体に対処できない既存手法の限界を克服する。
• 動画生成中にアイデンティティと動きの忠実度を保つために、潜在空間における被写体の分離を向上させる。
• 多様な被写体カテゴリーや複雑なペairリングをカバーする、包括的なベンチマークデータセットを構築する。
• 定性的・定量的評価およびユーザー研究を通じて、最先端手法と比較して優れた性能を示す。

提案手法

• トレーニング段階で複数の被写体を1枚の画像に合成することで、生成動画内での被写体の共起を促進する。
• 真値オブジェクトマスクを用いて、クロスアテンションマップにおける被写体領域を強調するマスク誘導型アテンション制御機構を実装する。
• 非ターゲット被写体の領域に対してはアテンション値を負の値に押し上げることで、関係のない画像領域のアテンションを抑制する。
• UNetのクロスアテンション層において、クエリおよび値の重みのみをファインチューニングし、LoRAを用いて効率的な適応を実現する。
• 被写体のクラス名を初期化値として学習可能なテキストトークンを設定し、アイデンティティ表現と整合させる。
• アブレーションスタディの結果、UNetのアテンションブロックの3番目の層（ℓ₃）から抽出されたクロスアテンションマップが最適な性能を示した。

実験結果

リサーチクエスチョン

• RQ1 テキストから動画への拡散モデルを、複数の被写体が一貫して共現する動画生成に効果的にファインチューニングできるか？
• RQ2 視覚的に類似したまたは複雑な被写体が複数存在する際、潜在空間における被写体分離をどのように向上できるか？
• RQ3 マスク誘導型アテンション制御は、アイデンティティ保持を強化し、被写体間の干渉をどれほど低減できるか？
• RQ4 テキスト整合性、画像整合性、時間的一貫性という観点から、本手法は最先端手法と比較してどの程度優れているか？
• RQ5 本研究で提案する新しい多様なベンチマークデータセットは、挑戦的な被写体ペアをカバーするマルチ・サブジェクトのテキストから動画への生成を効果的に評価できるか？

主な発見

• ℓ₃層のクロスアテンションマップを用いた場合、CLIP-Tスコアは 0.7051、DINO-Iスコアは 0.3955 を達成し、他のアテンション層設定を上回った。
• 人間評価において、前例となる最先端手法と比較して、ユーザーの好みスコアが3倍に向上し、優れた知覚的品質を示した。
• CustomVideo は、猫と犬のような非常に類似した被写体のアイデンティティを、全フレームにわたり正確に保持しており、VideoDreamer が示した不一致を回避した。
• 複雑なシーン、例えばフォアグラウンドにオブジェクト（例：車）とバックグラウンドにシーン（例：小屋）を含む状況に対しても、良好に一般化した。
• アブレーションスタディの結果、ℓ₃クロスアテンションマップが解像度と性能のバランスにおいて最良であり、ℓ₁ や ℓ₄ と比較して DINO-I スコアで12%の向上を達成した。
• CLIP-T、CLIP-I、DINO-I、時間的一貫性というすべての指標において、CustomVideo は VideoDreamer や他の最先端手法を上回り、ユーザー研究においても統計的に有意な向上を示した。