[论文解读] DiffSketching: Sketch Control Image Synthesis with Diffusion Models

Qiang Wang, Di Kong+2 more|arXiv (Cornell University)|May 30, 2023

Generative Adversarial Networks and Image Synthesis被引用 6

一句话总结

DiffSketching 提出了一种基于扩散模型的草图引导图像生成方法，无需大规模成对草图-图像数据集，即可从自由手绘草图中实现高保真度、多样化且逼真的图像生成。通过利用跨域约束、分类器引导和感知损失，该方法在定量指标和人类评估中均优于基于 GAN 的方法，同时支持图像编辑和条件插值等应用。

ABSTRACT

Creative sketch is a universal way of visual expression, but translating images from an abstract sketch is very challenging. Traditionally, creating a deep learning model for sketch-to-image synthesis needs to overcome the distorted input sketch without visual details, and requires to collect large-scale sketch-image datasets. We first study this task by using diffusion models. Our model matches sketches through the cross domain constraints, and uses a classifier to guide the image synthesis more accurately. Extensive experiments confirmed that our method can not only be faithful to user's input sketches, but also maintain the diversity and imagination of synthetic image results. Our model can beat GAN-based method in terms of generation quality and human evaluation, and does not rely on massive sketch-image datasets. Additionally, we present applications of our method in image editing and interpolation.

研究动机与目标

• 为解决从抽象、信息量低的手绘草图生成逼真、多样化图像的挑战。
• 在不依赖大规模成对草图-图像数据集的前提下，克服扩散模型生成中草图与图像之间的域差距。
• 通过引入分类器引导和感知损失实现跨域匹配，提升生成结果的保真度与多样性。
• 通过草图控制实现图像编辑和条件插值等实际应用。
• 证明扩散模型在草图到图像生成任务中可超越 GAN，同时避免模式崩溃和训练不稳定性。

提出的方法

• 该方法使用去噪扩散概率模型（DDPM）从潜在噪声生成图像，通过跨域约束利用输入草图进行引导。
• 采用分类器引导扩散过程，实现对图像生成的细粒度控制，并减少草图输入中的模糊性。
• 在草图领域应用感知损失，以确保生成图像与输入草图的形状和结构保持一致，即使草图存在失真或抽象化。
• 使用图像身份损失保留纹理和细节信息，确保草图内容的高保真重建。
• 通过注意力模块将原始图像特征与草图引导的潜在空间操作相结合，实现条件图像编辑。
• 在潜在空间中通过球面线性插值（slerp）在两个初始潜在变量之间进行插值，实现不同草图条件之间的平滑过渡。

实验结果

研究问题

• RQ1 扩散模型能否在无需大规模成对数据集的情况下，有效从抽象、信息量低的草图中生成多样化且逼真的图像？
• RQ2 在基于扩散的生成框架中，如何实现草图与图像之间的跨域对齐？
• RQ3 在草图存在模糊性的情况下，分类器引导能否提升草图到图像生成的保真度与可控性？
• RQ4 所提出方法在图像编辑和条件插值等下游应用中的支持程度如何？
• RQ5 与基于 GAN 的基线方法相比，该模型在图像质量、多样性及人类评估方面的表现如何？

主要发现

• DiffSketching 在基准数据集上的 inception score（IS）和 fiducial score（FID）均高于基于 GAN 的方法，表明其生成图像质量与多样性更优。
• 在人类评估中，该模型优于基于 GAN 的基线方法，得分更高，表明其结果与人类对真实感和忠实度的直观判断更加一致。
• 由于在局部对齐之外引入了全局感知损失，该方法在 QuickDraw 收集的真实人类草图上仍保持强劲性能，即使草图存在失真或简化。
• 消融实验证实，图像身份损失与草图感知损失均不可或缺；任一损失的移除均会显著降低生成质量与草图保真度。
• 该模型通过保留原始图像纹理，同时根据草图输入修改形状与姿态，实现了有效的图像编辑。
• 通过潜在空间中的 slerp 实现条件插值，可在不同草图条件之间生成平滑、连贯的过渡，证明了模型的一致性与可控性。