[论文解读] Controlled and Conditional Text to Image Generation with Diffusion Prior

Pranav Aggarwal, Hareesh Ravi+13 more|arXiv (Cornell University)|Feb 23, 2023

Generative Adversarial Networks and Image Synthesis被引用 4

一句话总结

本文提出了一种混合扩散模型（HDM），该模型使用轻量级扩散先验（Diffusion Prior）来根据特定领域或色彩调色板条件化图像生成，从而在不微调大型扩散解码器的情况下实现高效、高质量且可控的文本到图像生成。与提示工程和现有基线方法相比，该方法在领域特定和色彩条件化图像生成方面表现出更优性能。

ABSTRACT

Denoising Diffusion models have shown remarkable performance in generating diverse, high quality images from text. Numerous techniques have been proposed on top of or in alignment with models like Stable Diffusion and Imagen that generate images directly from text. A lesser explored approach is DALLE-2's two step process comprising a Diffusion Prior that generates a CLIP image embedding from text and a Diffusion Decoder that generates an image from a CLIP image embedding. We explore the capabilities of the Diffusion Prior and the advantages of an intermediate CLIP representation. We observe that Diffusion Prior can be used in a memory and compute efficient way to constrain the generation to a specific domain without altering the larger Diffusion Decoder. Moreover, we show that the Diffusion Prior can be trained with additional conditional information such as color histogram to further control the generation. We show quantitatively and qualitatively that the proposed approaches perform better than prompt engineering for domain specific generation and existing baselines for color conditioned generation. We believe that our observations and results will instigate further research into the diffusion prior and uncover more of its capabilities.

研究动机与目标

• 探究扩散先验是否能在不修改大型扩散解码器的情况下，有效约束图像生成至特定领域。
• 评估使用扩散先验进行条件化生成（如基于色彩直方图）以引导语义和风格一致性的可行性。
• 证明训练小型、领域特定的扩散先验比微调大型扩散模型更具内存和计算效率。
• 从图像质量、语义相关性和色彩保真度等方面，将所提方法与提示工程和现有色彩迁移技术进行比较。

提出的方法

• 在领域特定的文本-图像对上训练扩散先验模型，以生成基于文本提示的CLIP-L/14图像嵌入，从而实现领域控制。
• 将生成的CLIP嵌入用于条件化预训练的潜在扩散模型（LDM）解码器，从而在不修改解码器权重的情况下生成最终图像。
• 通过向扩散先验输入参考图像的色彩直方图，引入额外的条件化，实现在保持语义内容的同时进行色彩条件化生成。
• 该方法利用CLIP嵌入空间作为共享的中间表示，支持插值、操作以及生成图像的多样性提升。
• 通过CLIP分数、FID以及领域特定分类器上的分类准确率等指标对方法进行评估。
• 通过将领域特定或色彩条件化的扩散先验与通用LDM解码器结合，建立新型HDM架构，实现即插即用的控制。

实验结果

研究问题

• RQ1 小型、领域特定的扩散先验模型是否能在不微调大型扩散解码器的情况下，有效约束图像生成至目标领域？
• RQ2 基于扩散先验的方法在生成领域特定图像方面，与提示工程相比表现如何？
• RQ3 扩散先验能否扩展以接受额外的条件输入（如色彩直方图），以在保持语义质量的同时引导图像生成？
• RQ4 所提方法在图像质量和色彩保真度之间的平衡上，是否优于现有色彩迁移技术？
• RQ5 与微调大型扩散模型相比，HDM架构在内存和训练时间方面是否更具效率？

主要发现

• 所提出的领域特定扩散先验在孤立物体上的领域分类器得分为0.496，显著优于SD（0.268）和SD-prompt（0.250），表明其具有更好的领域对齐能力。
• 在矢量图像生成任务中，该方法的分类器得分为0.950，超过SD（0.550）和SD-prompt（0.761），展现出在矢量领域生成中的强大性能。
• 在纹理生成任务中，该方法的分类器得分为0.860，优于SD（0.663）和SD-prompt（0.788），且FID（35.524）低于两个基线模型。
• 在色彩条件化生成方面，该方法的Hellinger距离为0.480，KL散度为3.164，优于SD+WCTRGB（0.468，1.779），在色彩保真度与图像质量之间实现了更优平衡。
• 在色彩条件化生成上，该方法的FID为21.670，优于SD+WCTRGB（23.616）和ReHistoGAN（21.299），显示出更优的图像质量和色彩对齐效果。
• 定性结果表明，该模型能生成语义连贯的图像——例如，当以蓝色样本为条件时，浆果会生成为蓝莓——同时保持真实感并避免全局色彩失真。