[论文解读] DragDiffusion: Harnessing Diffusion Models for Interactive Point-based Image Editing

Yujun Shi, Chuhui Xue+6 more|arXiv (Cornell University)|Jun 26, 2023

Generative Adversarial Networks and Image Synthesis被引用 15

一句话总结

DragDiffusion 将互动点基图像编辑扩展到扩 diffusion 模型，通过优化单个扩散步骤潜在变量实现精确、灵活的编辑，同时保持身份并引入新的 DragBench 基准。

ABSTRACT

Accurate and controllable image editing is a challenging task that has attracted significant attention recently. Notably, DragGAN is an interactive point-based image editing framework that achieves impressive editing results with pixel-level precision. However, due to its reliance on generative adversarial networks (GANs), its generality is limited by the capacity of pretrained GAN models. In this work, we extend this editing framework to diffusion models and propose a novel approach DragDiffusion. By harnessing large-scale pretrained diffusion models, we greatly enhance the applicability of interactive point-based editing on both real and diffusion-generated images. Our approach involves optimizing the diffusion latents to achieve precise spatial control. The supervision signal of this optimization process is from the diffusion model's UNet features, which are known to contain rich semantic and geometric information. Moreover, we introduce two additional techniques, namely LoRA fine-tuning and latent-MasaCtrl, to further preserve the identity of the original image. Lastly, we present a challenging benchmark dataset called DragBench -- the first benchmark to evaluate the performance of interactive point-based image editing methods. Experiments across a wide range of challenging cases (e.g., images with multiple objects, diverse object categories, various styles, etc.) demonstrate the versatility and generality of DragDiffusion. Code: https://github.com/Yujun-Shi/DragDiffusion.

研究动机与目标

• 以扩散模型推动基于点的交互式图像编辑，以克服 GAN 的局限性。
• 实现对真实图像和扩散生成图像的准确且语义连贯的编辑。
• 在编辑过程中保持图像身份，同时允许区域特定修改。

提出的方法

• 使用 LoRA 对扩散模型 UNet 进行微调，以在输入图像上保持身份。
• 将输入图像反演为扩散潜在变量，并优化单步扩散潜在变量以实现手柄到目标的编辑。
• 使用 DDIM 去噪引导参考潜在变量，以保持一致性和图像质量。
• 使用基于 UNet 特征图的损失和掩膜正则化项来驱动拖拽式编辑的运动监督。
• 通过 UNet 特征图在迭代中跟踪手柄点，以在编辑过程中保持对应关系。
• 引入参考潜在控制，通过以原始潜在特征引导去噪过程来改善身份一致性。

实验结果

研究问题

• RQ1 扩散模型是否能以与 DragGAN 相同的拖拽式范式提供精确的交互点编辑？
• RQ2 哪种潜在变量优化策略及支持机制（身份保持、参考引导）能够在真实图像和扩散生成图像之间实现可靠的编辑？
• RQ3 基于扩散的编辑器在保真度和跨様图像领域的精确拖拽方面，与基于 GAN 的 DragGAN 相比如何？
• RQ4 是否有专门的基准 DragBench 能揭示基于扩散的交互式编辑方法的优点与局限？

主要发现

• DragDiffusion 在编辑灵活性方面显著优于 DragGAN，包括实物内容填充，在真实图像和扩散生成图像之间均有提升。
• 编辑依赖于优化单一扩散步骤的潜在变量，而非多步，通过对 UNet 特征的 PCA 基本观察提供帮助。
• 身份保持的微调（LoRA）和参考潜在控制对保持身份和编辑连贯性至关重要。
• DragBench 提供多样化数据集和两项度量（图像保真度和平均距离）来量化编辑性能。
• 消融实验显示最优反演步数范围（t 在 [30,40]）以及 80 次身份保持的微调步数在性能与效率之间取得平衡。
• 使用来自更深层块的 UNet 特征可提高保真度，而非常高层特征可能会损害精确的空间控制。