[论文解读] Controllable Generation with Text-to-Image Diffusion Models: A Survey

Pu Cao, Feng Zhou+2 more|arXiv (Cornell University)|Mar 7, 2024

Multimedia Communication and Technology被引用 4

一句话总结

本综述对可控文本到图像扩散模型进行了全面分析，系统性地对超越文本条件的多种输入方法（如图像、布局和草图）进行了分类。它详细阐述了条件得分预测和条件引导得分估计等理论机制，提供了一个统一框架，以理解新型条件如何以高精度和灵活性引导图像生成。

ABSTRACT

In the rapidly advancing realm of visual generation, diffusion models have revolutionized the landscape, marking a significant shift in capabilities with their impressive text-guided generative functions. However, relying solely on text for conditioning these models does not fully cater to the varied and complex requirements of different applications and scenarios. Acknowledging this shortfall, a variety of studies aim to control pre-trained text-to-image (T2I) models to support novel conditions. In this survey, we undertake a thorough review of the literature on controllable generation with T2I diffusion models, covering both the theoretical foundations and practical advancements in this domain. Our review begins with a brief introduction to the basics of denoising diffusion probabilistic models (DDPMs) and widely used T2I diffusion models. We then reveal the controlling mechanisms of diffusion models, theoretically analyzing how novel conditions are introduced into the denoising process for conditional generation. Additionally, we offer a detailed overview of research in this area, organizing it into distinct categories from the condition perspective: generation with specific conditions, generation with multiple conditions, and universal controllable generation. For an exhaustive list of the controllable generation literature surveyed, please refer to our curated repository at https://github.com/PRIV-Creation/Awesome-Controllable-T2I-Diffusion-Models.

研究动机与目标

• 为解决文本到图像扩散模型中仅依赖文本条件的局限性，该局限性无法捕捉复杂视觉需求（如特定风格或未见过的身份）。
• 基于条件输入类型，构建可控生成方法的系统性分类法，包括单条件（如文本、图像、布局）、多条件（如文本+草图）和通用控制（如统一条件头）。
• 分析将条件整合进扩散模型的理论基础，重点关注条件得分预测和条件引导得分估计。
• 综述在图像编辑、图像修复、构图以及文本/图像到3D生成等下游任务中的实际应用，突出其在现实世界中的实用性与技术革新性。
• 整理并汇编一个全面、最新的可控T2I扩散文献库，供研究人员和从业者使用。

提出的方法

• 根据条件类型对可控生成方法进行分类：单条件（如文本、图像、布局）、多条件（如文本+草图）和通用控制（如统一条件头）。
• 理论化通过条件得分预测实现新条件的整合，即模型在辅助输入条件下估计去噪步骤的得分。
• 分析条件引导得分估计，通过分类器自由引导等引导机制修改去噪过程，以实现与复杂条件的一致性对齐。
• 回顾架构适应方法，如适配器模块、将条件注入U-Net结构，以及为不同控制信号（如ControlNet用于空间控制）使用专用头。
• 研究Score Distillation Sampling（SDS）损失在将2D扩散控制机制迁移至3D空间中的应用，以实现文本到3D生成。
• 评估DreamInpainter、Realfill和Uni-inpaint等技术在图像补全中的应用，利用参考图像和多种条件引导遮挡区域的生成。

实验结果

研究问题

• RQ1 如何将文本到图像扩散模型从仅依赖文本条件扩展至支持多样化的视觉条件（如草图、布局和参考图像）？
• RQ2 支撑有效整合新条件至去噪过程的核心理论机制（如条件得分预测和条件引导得分估计）是什么？
• RQ3 哪些关键的架构与训练策略使得预训练T2I模型能够适配多条件或通用可控生成？
• RQ4 可控生成方法如何增强图像编辑、图像修复、构图以及文本/图像到3D生成等下游任务？
• RQ5 使用SDS等技术将控制从2D扩散模型迁移至3D生成时，最有效且可泛化的策略是什么？

主要发现

• 除文本外，引入参考图像、草图和布局等多样化条件，显著提升了图像生成的精度与灵活性。
• 通过分类器自由引导实现的条件引导得分估计，可在无需额外训练分类器的情况下，实现鲁棒且可控的生成。
• ControlNet和Uni-inpaint等方法表明，多条件控制（如文本+布局+草图）可实现更连贯且语义一致的图像补全与编辑。
• Score Distillation Sampling（SDS）损失使2D扩散控制机制能够迁移到3D生成，仅需极少3D监督即可实现文本到3D生成。
• ObjectStitch和ControlCom表明，通过适配器微调预训练T2I模型，可统一处理复杂的构图任务（如光照、阴影和视角对齐）。
• 本综述整理的文献库（https://github.com/PRIV-Creation/Awesome-Controllable-T2I-Diffusion-Models）为可控T2I生成的最前沿研究提供了全面且最新的参考。