[论文解读] SDEdit: Image Synthesis and Editing with Stochastic Differential Equations

Chenlin Meng, Yang Song+4 more|arXiv (Cornell University)|Aug 2, 2021

Generative Adversarial Networks and Image Synthesis参考文献 12被引用 80

一句话总结

SDEdit 提出了一种基于随机微分方程（SDEs）的新颖图像生成与编辑框架，实现了无需特定任务损失函数或微调的灵活、零样本编辑。通过反向SDE动力学对噪声扰动的输入进行去噪，该方法实现了高质量的图像生成与编辑，受用户输入（如涂鸦或图像合成）引导，其在适应性和泛化能力方面优于条件 GAN。

ABSTRACT

We introduce a new image editing and synthesis framework, Stochastic Differential Editing (SDEdit), based on a recent generative model using stochastic differential equations (SDEs). Given an input image with user edits (e.g., hand-drawn color strokes), we first add noise to the input according to an SDE, and subsequently denoise it by simulating the reverse SDE to gradually increase its likelihood under the prior. Our method does not require task-specific loss function designs, which are critical components for recent image editing methods based on GAN inversion. Compared to conditional GANs, we do not need to collect new datasets of original and edited images for new applications. Therefore, our method can quickly adapt to various editing tasks at test time without re-training models. Our approach achieves strong performance on a wide range of applications, including image synthesis and editing guided by stroke paintings and image compositing.

研究动机与目标

• 开发一种灵活的图像编辑框架，可在推理时无需微调即可适应新编辑任务。
• 消除条件 GAN 所需的原始图像与编辑后图像成对数据集的收集需求。
• 避免设计特定任务的损失函数，这是近期基于 GAN 的编辑方法中的常见瓶颈。
• 仅使用预训练的扩散模型和用户提供的编辑内容，实现高质量的图像生成与编辑。
• 在多种编辑任务（如涂鸦引导编辑和图像合成）中实现强大性能。

提出的方法

• 该方法首先通过前向 SDE 向输入图像添加噪声，将其转化为扩散过程。
• 然后应用反向 SDE 动力学逐步去噪图像，提高其在学习到的数据先验下的概率。
• 在反向 SDE 去噪过程中，将用户编辑（如颜色涂鸦或合成区域）作为条件信号引入。
• 该框架利用预训练的基于分数的生成模型，避免对底层扩散模型进行微调或重新训练。
• 通过数值积分求解反向 SDE，实现向高质量、已编辑图像的迭代优化。
• 该方法具有内在的泛化能力，可在推理时快速适应新编辑任务。

实验结果

研究问题

• RQ1 单个预训练的扩散模型是否可无需微调或再训练即可用于多种图像编辑任务？
• RQ2 与需要成对数据集和特定任务损失函数的条件 GAN 相比，SDEdit 的表现如何？
• RQ3 用户编辑（如手绘涂鸦）在零样本方式下，能在多大程度上引导图像生成过程？
• RQ4 SDEdit 是否可在多种应用场景（如图像合成和涂鸦编辑）中实现高保真度的图像生成与编辑？
• RQ5 与基于优化的或基于 GAN 的反演方法相比，基于 SDE 的去噪方法有何影响？

主要发现

• SDEdit 在无需特定任务损失函数的情况下实现了强大的图像编辑性能，降低了设计复杂度。
• 该方法可在推理时实现零样本适应新编辑任务，无需微调或重新训练。
• 在泛化能力方面优于基于条件 GAN 的方法，因其不依赖于每项编辑任务的成对训练数据。
• 该框架能有效处理多样化的编辑输入，包括涂鸦绘画和图像合成，且保持高视觉保真度。
• 通过利用反向 SDE 动力学，SDEdit 生成的输出质量高，能良好匹配用户编辑，同时保持结构和语义一致性。