[論文レビュー] Controllable Generation with Text-to-Image Diffusion Models: A Survey

Pu Cao, Feng Zhou+2 more|arXiv (Cornell University)|Mar 7, 2024

Multimedia Communication and Technology被引用数 4

ひとこと要約

本サーベイは、テキスト条件付けにとどまらない多様な入力（画像、レイアウト、スケッチなど）を扱う制御可能テキストto画像拡散モデルについて包括的な分析を提供し、体系的に分類している。条件付きスコア予測や条件誘導スコア推定といった理論的メカニズムを詳細に解説し、新しい条件が高精度かつ柔軟に画像生成を制御する仕組みを統一的な枠組みで理解する手がかりを提供する。

ABSTRACT

In the rapidly advancing realm of visual generation, diffusion models have revolutionized the landscape, marking a significant shift in capabilities with their impressive text-guided generative functions. However, relying solely on text for conditioning these models does not fully cater to the varied and complex requirements of different applications and scenarios. Acknowledging this shortfall, a variety of studies aim to control pre-trained text-to-image (T2I) models to support novel conditions. In this survey, we undertake a thorough review of the literature on controllable generation with T2I diffusion models, covering both the theoretical foundations and practical advancements in this domain. Our review begins with a brief introduction to the basics of denoising diffusion probabilistic models (DDPMs) and widely used T2I diffusion models. We then reveal the controlling mechanisms of diffusion models, theoretically analyzing how novel conditions are introduced into the denoising process for conditional generation. Additionally, we offer a detailed overview of research in this area, organizing it into distinct categories from the condition perspective: generation with specific conditions, generation with multiple conditions, and universal controllable generation. For an exhaustive list of the controllable generation literature surveyed, please refer to our curated repository at https://github.com/PRIV-Creation/Awesome-Controllable-T2I-Diffusion-Models.

研究の動機と目的

• テキストのみの条件付けに限界があるテキストto画像拡散モデルが、特定のスタイルや未確認のアイデンティティといった複雑な視覚的要件を捉えきれないことへの対処。
• 条件入力の種別に基づく、制御可能生成手法の体系的分類（単一条件、複数条件、ユニバーサル制御条件）。
• 拡散モデルへの条件統合の理論的基盤の分析。特に条件付きスコア予測と条件誘導スコア推定に焦点を当てる。
• 画像編集、インpainting、コンポジション、テキスト/画像to3D生成といった分野における実用的応用のサーベイ。実世界での有用性と技術的革新を強調。
• 研究者および実務家向けに、制御可能T2I拡散文書の包括的かつ最新のリポジトリを収集・キュレートすること。

提案手法

• 条件タイプ別に制御可能生成手法を分類：単一条件（例：テキスト、画像、レイアウト）、複数条件（例：テキスト＋スケッチ）、ユニバーサル制御（例：統一された条件ヘッド）。
• 新たな条件の統合を理論的に提示：モデルが補助入力に条件付けられたノイズ除去ステップのスコアを推定する条件付きスコア予測。
• 条件誘導スコア推定の分析：分類器フリー・ガイドランスなどのガイドランス機構を用いて、ノイズ除去プロセスを変更し、複雑な条件に一致させる。
• アーキテクチャの適応をレビュー：アダプターモジュール、U-Netへの条件インジェクション、空間的制御に適した特別なヘッド（例：ControlNet）の使用。
• Score Distillation Sampling（SDS）損失が2D拡散制御メカニズムを3D空間に転送することで、3D生成へのテキストto3D生成を可能にする仕組みの検討。
• DreamInpainter、Realfill、Uni-inpaintなどの技術を評価。参照画像と複数の条件を用いてマスク領域の生成をガイドする画像補完。

実験結果

リサーチクエスチョン

• RQ1 テキストto画像拡散モデルは、スケッチ、レイアウト、参照画像といった多様な視覚的条件をサポートするために、テキスト条件付けを超えてどのように拡張できるか？
• RQ2 ノイズ除去プロセスへの新しい条件の統合を可能にする核心的な理論的メカニズム（例：条件付きスコア予測、条件誘導スコア推定）は何か？
• RQ3 事前学習済みT2Iモデルが複数条件またはユニバーサル制御生成に適応可能となるために必要なアーキテクチャ的およびトレーニング戦略のキーポイントは何か？
• RQ4 制御可能生成手法は、画像編集、インpainting、コンポジション、テキスト/画像to3D生成といった下流タスクをどのように向上させるか？
• RQ5 SDSのような技術を用いて、2D拡散モデルからの制御を3D生成に効果的かつ汎用的に転送する最も効果的で汎用性の高いアプローチは何か？

主な発見

• テキスト以外の多様な条件（参照画像、スケッチ、レイアウトなど）の統合は、画像生成の正確性と柔軟性を顕著に向上させる。
• 分類器フリー・ガイドランスを用いた条件誘導スコア推定により、追加の分類器学習を必要とせずに、堅牢で制御可能な生成が可能になる。
• ControlNet や Uni-inpaint などの手法は、テキスト＋レイアウト＋スケッチといった複数条件制御が、より一貫性があり意味的に整合性のとれた画像補完・編集を実現できることを示している。
• Score Distillation Sampling（SDS）損失の使用により、2D拡散制御メカニズムを3D生成に転送でき、最小限の3D監視でテキストto3D生成が可能になる。
• ObjectStitch や ControlCom は、事前学習済みT2Iモデルのアダプターベース微調整が、照明、影、視点の整合性といった複雑なコンポジションタスクを統合的に扱えることを示している。
• 本サーベイでキュレートされたリポジトリ（https://github.com/PRIV-Creation/Awesome-Controllable-T2I-Diffusion-Models）は、制御可能T2I生成分野の最新状態を包括的かつ最新の状態で参照できる包括的リファレンスを提供している。