[论文解读] DiffusionCLIP: Text-guided Image Manipulation Using Diffusion Models

Gwanghyun Kim, Jong Chul Ye|arXiv (Cornell University)|Sep 29, 2021

Generative Adversarial Networks and Image Synthesis参考文献 31被引用 30

一句话总结

本文提出 DiffusionCLIP，一种利用扩散模型和 CLIP 损失实现高保真、抗反演干扰的文本引导图像编辑框架，无需额外编码器。其性能与最先进的基于 GAN 的方法相当，并支持零样本域迁移和未见域内的笔画条件生成等新应用。

ABSTRACT

Diffusion models are recent generative models that have shown great success in image generation with the state-of-the-art performance. However, only a few researches have been conducted for image manipulation with diffusion models. Here, we present a novel DiffusionCLIP which performs text-driven image manipulation with diffusion models using Contrastive Language-Image Pre-training (CLIP) loss. Our method has a performance comparable to that of the modern GAN-based image processing methods for in and out-of-domain image processing tasks, with the advantage of almost perfect inversion even without additional encoders or optimization. Furthermore, our method can be easily used for various novel applications, enabling image translation from an unseen domain to another unseen domain or stroke-conditioned image generation in an unseen domain, etc. Finally, we present a novel multiple attribute control with DiffusionCLIPby combining multiple fine-tuned diffusion models.

研究动机与目标

• 通过扩散模型实现文本引导的图像编辑，解决该领域先前研究有限的问题。
• 在无需专用编码器或优化步骤的情况下，实现接近完美的图像反演，保持高保真度。
• 支持零样本图像域间迁移和未见域内的笔画条件生成等新应用。
• 通过结合微调后的扩散模型，实现多属性控制，以应对复杂的编辑任务。

提出的方法

• 利用对比语言-图像预训练（CLIP）损失，在扩散采样过程中对齐文本提示与图像特征。
• 使用预训练的扩散模型作为图像生成与编辑的骨干网络，无需额外编码器。
• 通过基于 CLIP 的对比损失优化噪声调度和潜在空间，实现文本引导的图像编辑。
• 通过将扩散过程条件化为描述未见域的文本提示，实现零样本域迁移。
• 通过将稀疏的空间条件信号引入扩散过程，支持笔画条件的图像生成。
• 通过结合多个微调后的扩散模型，实现在图像编辑中的多属性控制。

实验结果

研究问题

• RQ1 扩散模型是否能在无需额外编码器的情况下，实现与基于 GAN 的方法相当的高保真、文本引导图像编辑？
• RQ2 DiffusionCLIP 在无需显式优化或编码器的情况下，能在多大程度上实现近乎完美的图像反演？
• RQ3 该方法是否能泛化到未见域之间的零样本图像翻译？
• RQ4 它是否能支持笔画条件生成等新型编辑范式，且适用于未见域？
• RQ5 结合多个微调后的扩散模型在多属性控制方面有多高效？

主要发现

• DiffusionCLIP 在域内和域外图像编辑任务上，性能与现代基于 GAN 的图像处理方法相当。
• 该方法无需额外编码器或优化步骤，即可实现近乎完美的图像反演。
• 它支持未见域之间的零样本图像翻译，展现出超越训练数据的泛化能力。
• 该框架支持在未见域中实现笔画条件的图像生成，拓展了其在交互式编辑中的适用性。
• 通过结合微调后的扩散模型，可有效实现多属性控制，支持具有多个约束的复杂编辑。
• 使用 CLIP 损失可确保文本提示与生成图像内容之间具有强对齐性，从而提升编辑保真度。