[論文レビュー] DreamTuner: Single Image is Enough for Subject-Driven Generation

Hua Miao, Jiawei Liu+4 more|arXiv (Cornell University)|Dec 21, 2023

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

DreamTunerは、1枚の参照画像のみを用いて、訓練なしで高精細な被写体のアイデンティティを保持する、被写体駆動型画像生成手法を提案する。被写体エンコーダーによる粗いアイデンティティの注入と、自己被写体アテンション層による細部の精錬を組み合わせ、従来の微調整およびエンコーダー基盤の手法を上回るアイデンティティの忠実度と生成品質を達成する。最小限の訓練ステップで実現される。

ABSTRACT

Diffusion-based models have demonstrated impressive capabilities for text-to-image generation and are expected for personalized applications of subject-driven generation, which require the generation of customized concepts with one or a few reference images. However, existing methods based on fine-tuning fail to balance the trade-off between subject learning and the maintenance of the generation capabilities of pretrained models. Moreover, other methods that utilize additional image encoders tend to lose important details of the subject due to encoding compression. To address these challenges, we propose DreamTurner, a novel method that injects reference information from coarse to fine to achieve subject-driven image generation more effectively. DreamTurner introduces a subject-encoder for coarse subject identity preservation, where the compressed general subject features are introduced through an attention layer before visual-text cross-attention. We then modify the self-attention layers within pretrained text-to-image models to self-subject-attention layers to refine the details of the target subject. The generated image queries detailed features from both the reference image and itself in self-subject-attention. It is worth emphasizing that self-subject-attention is an effective, elegant, and training-free method for maintaining the detailed features of customized subjects and can serve as a plug-and-play solution during inference. Finally, with additional subject-driven fine-tuning, DreamTurner achieves remarkable performance in subject-driven image generation, which can be controlled by a text or other conditions such as pose. For further details, please visit the project page at https://dreamtuner-diffusion.github.io/.

研究の動機と目的

• 1枚の参照画像でのみ、被写体駆動型画像生成におけるアイデンティティ保持と生成能力のバランスをとる課題に取り組むこと。
• 事前学習済みモデルの能力を低下させる微調整手法の制限と、圧縮による被写体の詳細損失を引き起こすエンコーダー基盤手法の制限を克服すること。
• 推論時に追加の訓練なしに、細部まで正確に被写体の特徴を保持する、訓練不要で即挿入可能なメカニズムを開発すること。
• 最小限のユーザー入力で、テキストやポーズなどの条件制御が可能な、柔軟なパーソナライズド被写体の生成を可能にすること。

提案手法

• 被写体エンコーダーは、凍結されたCLIP画像エンコーダーを用いて参照画像の特徴を圧縮し、視覚的・テキスト的クロスアテンションの前にアテンション層を介して粗いアイデンティティの注入を実現する。
• コンテンツとレイアウトを、事前学習済みの深度ベースのControlNetを用いて分離することで、レイアウトの過適合を防ぐ。
• 元の自己アテンション機構を変更し、生成画像と参照画像の両方の特徴をクエリとして用いることで、自己被写体アテンション層を導入し、被写体の細部を段階的に精錬可能にする。
• 2段階の訓練プロセスを採用する：第1段階ではControlNetを用いた被写体エンコーダーの訓練、第2段階では自己被写体アテンションを用いた被写体駆動型微調整により、細部の忠実度を向上させる。
• 自己被写体アテンション機構は推論時のみに適用され、追加の訓練を必要としないため、高精細な被写体生成のための即挿入ソリューションとなる。
• ハイパーパrameter β と ω_ref は、それぞれ被写体エンコーダーの注入強度と自己被写体アテンションの強度を制御する。最適値は β=0.2 および ω_ref=10.0 で得られた。

実験結果

リサーチクエスチョン

• RQ1 1枚の参照画像のみで、事前学習済みモデルの生成能力を損なわず、高精細な被写体駆動型画像生成が可能か？
• RQ2 追加の画像エンコーダーや広範な微調整に依存せず、拡散生成中に細部まで被写体の特徴を保持する方法は何か？
• RQ3 自己アテンション機構を、生成画像と参照画像の両方の特徴をクエリとして用いることで、被写体アイデンティティをどの程度保持できるように適応可能か？
• RQ4 1枚の画像による被写体生成フレームワークにおいて、粗いアイデンティティの注入と細部の精錬の最適なバランスは何か？

主な発見

• DreamTunerは、DreamBooth、Textual Inversion、ELITE、MasaCtrlを上回り、被写体忠実度（CLIP-I）において最高の平均コサイン類似度を達成した。
• 高い被写体忠実度を維持しながら、優れたテキスト一貫性（CLIP-T）を実現しており、プロンプトの遵守とアイデンティティ保持の両立が図れていることを示している。
• アブレーションスタディの結果、β=0.2 がアイデンティティの一貫性と編集可能性の最良のトレードオフを提供することが判明。また、ω_ref=10.0 が品質劣化を伴わず、細部の精錬を最大限に高める。
• 被写体エンコーダーの訓練時にControlNetを除去するとレイアウトのずれが生じ、コンテンツとレイアウトの分離が一般化性能を向上させる役割を果たしていることが確認された。
• 参照画像の背景をマスクしないまま自己被写体アテンションを使用すると生成品質が劣化するため、空間的に意識されたアテンション機構の重要性が示された。
• 自己被写体アテンション機構は、訓練不要かつ即挿入可能なコンponentとして有効であり、推論時に細部の忠実度を顕著に向上させることが分かった。