[论文解读] Fine-grained Image Editing by Pixel-wise Guidance Using Diffusion Models

Naoki Matsunaga, Masato Ishii+3 more|arXiv (Cornell University)|Dec 5, 2022

Advanced Vision and Imaging被引用 6

一句话总结

本文提出了一种基于扩散模型的图像编辑框架，采用像素级引导，实现对真实图像的精细、可控编辑，同时保留未编辑区域的内容。通过训练轻量级像素分类器，并在早期反向扩散步骤中应用分割图引导去噪，该方法在标签效率和快速推理方面表现出色，其在质量与速度上均优于基于GAN的方法。

ABSTRACT

Our goal is to develop fine-grained real-image editing methods suitable for real-world applications. In this paper, we first summarize four requirements for these methods and propose a novel diffusion-based image editing framework with pixel-wise guidance that satisfies these requirements. Specifically, we train pixel-classifiers with a few annotated data and then infer the segmentation map of a target image. Users then manipulate the map to instruct how the image will be edited. We utilize a pre-trained diffusion model to generate edited images aligned with the user's intention with pixel-wise guidance. The effective combination of proposed guidance and other techniques enables highly controllable editing with preserving the outside of the edited area, which results in meeting our requirements. The experimental results demonstrate that our proposal outperforms the GAN-based method for editing quality and speed.

研究动机与目标

• 开发一种适用于真实世界应用的精细真实图像编辑方法，具备高可控性与高效性。
• 解决基于GAN的方法的局限性，特别是未编辑图像内容保留不佳的问题（第2页），同时保持高质量编辑。
• 通过利用预训练的语义分割模型（DatasetDDPM）适配为扩散引导，实现标签高效的训练。
• 通过加速采样和优化引导，实现与基于GAN的方法相当的快速编辑速度。
• 提供一种参数设置策略，根据编辑区域大小自适应调整以获得最佳性能。

提出的方法

• 该方法使用预训练的扩散模型，并通过在少量标注样本上训练的轻量级分割头实现像素级引导。
• 使用标签高效的语义分割模型（DatasetDDPM）微调后，为目标图像推理出分割图。
• 在反向扩散过程中通过在选定的去噪起始步骤 $t_0$ 处最小化像素级分割损失来应用引导。
• 引导尺度 $s$ 和起始步骤 $t_0$ 针对每个编辑任务进行优化，小范围编辑使用 $t_0 = 500$ 和 $s = 100$，大范围编辑使用 $t_0 = 750$ 和 $s = 40$。
• 采用加速采样以保持快速推理速度，实现接近GAN水平的编辑速度。
• 通过潜在空间插值探索编辑强度与一致性。

实验结果

研究问题

• RQ1 如何在像素层面有效引导扩散模型，以实现高保真度的精细图像编辑？
• RQ2 对于不同大小的编辑区域，起始去噪步骤 $t_0$ 与引导尺度 $s$ 的最优组合是什么？
• RQ3 是否可以在仅使用极少标注的情况下实现标签高效的训练，同时保持高质量的编辑效果？
• RQ4 如何在不牺牲可控性或质量的前提下，实现在扩散模型编辑中的快速推理？
• RQ5 该方法是否能比基于GAN的基线方法更有效地保留未编辑的图像内容？

主要发现

• 所提出的方法在编辑质量和速度上均优于基于GAN的EditGAN，尤其在保留未编辑区域和细节特征方面表现更优。
• 最优的 $t_0$ 和 $s$ 设置取决于编辑区域的大小，较大区域需要更高的 $t_0$ 和更低的 $s$ 以避免伪影。
• 使用轻量级像素分类器进行引导比使用全尺寸分割模型更具计算效率，从而实现更快的推理速度。
• 在原始图像与编辑后图像之间的潜在空间插值可生成有意义的中间样本，表明编辑路径稳定且连续。
• 对于大范围编辑（如从场景中移除一个人），需要较高的 $t_0 = 800$ 以确保背景自然补全。
• 该方法在处理颜色变化（如眼睛或头发颜色）方面存在局限，且对于眉毛、嘴部形状等小而复杂的编辑仍需手动调参。