[论文解读] A Survey of Diffusion Based Image Generation Models: Issues and Their Solutions
论文分析基于扩散的图像生成，识别关键挑战（多目标生成、罕见概念与质量）并综述解决方案与技术以应对这些挑战。
Recently, there has been significant progress in the development of large models. Following the success of ChatGPT, numerous language models have been introduced, demonstrating remarkable performance. Similar advancements have also been observed in image generation models, such as Google's Imagen model, OpenAI's DALL-E 2, and stable diffusion models, which have exhibited impressive capabilities in generating images. However, similar to large language models, these models still encounter unresolved challenges. Fortunately, the availability of open-source stable diffusion models and their underlying mathematical principles has enabled the academic community to extensively analyze the performance of current image generation models and make improvements based on this stable diffusion framework. This survey aims to examine the existing issues and the current solutions pertaining to image generation models.
研究动机与目标
- 在基于扩散的图像生成中识别主要挑战（多对象渲染、罕见概念和质量）并推动有针对性的解决方案。
- 按图像生成中具体解决的问题来组织扩散模型。
- 总结提升生成质量和控制能力的核心技术、架构以及训练/推理策略。
- 通过聚焦图像生成应用和实际局限性/解决方案，突出与此前综述的差异。
提出的方法
- 回顾扩散模型的基础知识，包括前向/后向过程、DDPM，以及无分类器引导（CFG）。
- 讨论带有注意力与跨注意力机制的噪声预测U-Net及其在条件设定中的作用。
- 总结条件化与布局整合方法（边界框、分割图）以及如ControlNet及其变体的插件式架构。
- 描述基于检索和主体驱动的生成方法，以处理罕见/未见概念以及个性化。
- 概述聚焦文本编码器改进、专家混合以及提示/采样技术的质量提升策略。
实验结果
研究问题
- RQ1在实践中基于扩散的图像生成有哪些主要局限？
- RQ2存在哪些技术能够将布局和注意力控制整合到以提升多对象生成？
- RQ3检索与主体驱动方法如何帮助生成罕见或未见概念？
- RQ4哪些策略比单纯扩大模型规模更能有效提升图像生成质量？
- RQ5不同的文本编码器如何影响基于扩散的图像生成质量？
主要发现
- 基于布局与注意力引导的方法（如ControlNet、GLIGEN、Attend-and-Excite）可提升多对象渲染和布局遵从性。
- 基于检索与主体驱动的方法在不同程度的微调下实现罕见/未见概念的生成与个性化。
- 文本编码器的改进（如T5-XXL、基于CLIP的与纯语言模型相比）以及混合编码器设置在质量提升方面可超越更大U-Net。
- 分类器无引导（classifier-free guidance）在主导扩散模型中仍然是基础的条件设定方法。
- 修改跨注意力图或进行潜变量优化的技术可在不大量重新训练模型的情况下提升图片质量。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。