[论文解读] eDiff-I: Text-to-Image Diffusion Models with an Ensemble of Expert Denoisers

Yogesh Balaji, Seungjun Nah+11 more|arXiv (Cornell University)|Nov 2, 2022

Generative Adversarial Networks and Image Synthesis被引用 223

一句话总结

eDiff-I 训练一个专门针对扩散式文本到图像生成的不同比阶段的专家去噪器集合，在不增加推理成本的前提下提升文本对齐，并利用多种编码器和“paint-with-words”能力。

ABSTRACT

Large-scale diffusion-based generative models have led to breakthroughs in text-conditioned high-resolution image synthesis. Starting from random noise, such text-to-image diffusion models gradually synthesize images in an iterative fashion while conditioning on text prompts. We find that their synthesis behavior qualitatively changes throughout this process: Early in sampling, generation strongly relies on the text prompt to generate text-aligned content, while later, the text conditioning is almost entirely ignored. This suggests that sharing model parameters throughout the entire generation process may not be ideal. Therefore, in contrast to existing works, we propose to train an ensemble of text-to-image diffusion models specialized for different synthesis stages. To maintain training efficiency, we initially train a single model, which is then split into specialized models that are trained for the specific stages of the iterative generation process. Our ensemble of diffusion models, called eDiff-I, results in improved text alignment while maintaining the same inference computation cost and preserving high visual quality, outperforming previous large-scale text-to-image diffusion models on the standard benchmark. In addition, we train our model to exploit a variety of embeddings for conditioning, including the T5 text, CLIP text, and CLIP image embeddings. We show that these different embeddings lead to different behaviors. Notably, the CLIP image embedding allows an intuitive way of transferring the style of a reference image to the target text-to-image output. Lastly, we show a technique that enables eDiff-I's "paint-with-words" capability. A user can select the word in the input text and paint it in a canvas to control the output, which is very handy for crafting the desired image in mind. The project page is available at https://deepimagination.cc/eDiff-I/

研究动机与目标

• 需要捕捉扩散式文本到图像生成中不同合成阶段的必要性。
• 提出一个针对不同噪声水平的专家去噪器集合，以提升文本对齐并保持推理成本。
• 研究多种条件编码器（T5、CLIP 文本、CLIP 图像）在条件多样性方面的作用。
• 提出一个高效的训练微调策略，以在不承受高昂训练成本的情况下扩展集合。
• 提出一个无需训练的 paint-with-words 机制，用于控制生成的空间布局。

提出的方法

• 训练一个基础扩散模型，并将其逐步分支为对应噪声水平区间的专业专家去噪器。
• 使用二叉树分支方案，根据分裂的噪声分布初始化并微调专家模型，聚焦于极端（高/低）和中间区间。
• 将多种输入嵌入（T5 文本、CLIP 文本、CLIP 图像）与交叉注意力和 dropout 相结合，形成多样化的条件。
• 通过调制交叉注意力、使用用户绘制的掩模来控制空间布局，加入无需训练的 paint-with-words 机制。
• 部署一个扩散模型级联（基础 64x64、SR256、SR1024），在训练阶段引入劣化以提升超分辨率阶段的泛化。
• 使用 COCO 和 Visual Genome 的零-shot FID-CLIP 权衡进行评估，并与最先进的基线进行比较。

实验结果

研究问题

• RQ1 一个专家去噪器集合是否在不增加推理成本的情况下提升文本到图像对齐？
• RQ2 多种条件编码器（T5、CLIP 文本、CLIP 图像）如何影响图像质量和风格迁移能力？
• RQ3 无需训练的 paint-with-words 机制是否能提供对生成输出的实用空间控制？
• RQ4 与单一模型基线相比，eDiff-I 在标准文本到图像基准上的性能提升有多大？

主要发现

• 2 专家集成在 COCO 和 Visual Genome 数据集上始终优于基线的 FID-CLIP 权衡。
• eDiff-I 在保持与单模型扩散相当的推理成本的同时实现了具有竞争力的零-shot FID。
• 将 T5 与 CLIP 文本编码器的组合带来最佳性能，CLIP 图像嵌入实现风格迁移。
• paint-with-words 通过用用户提供的掩模调制交叉注意力来实现空间控制，且无需额外训练。
• 高效的分支训练（从共享基础开始，然后微调左/右/高噪声极端和中间专家）在扩展容量的同时降低训练成本。
• 与大型基线相比，eDiff-I 的变体（配置 A-D）在零-shot FID 上逐步提升，其中配置 D 在所报告的设置下达到 6.95 的零-shot FID。