[论文解读] High-Resolution Image Editing via Multi-Stage Blended Diffusion

Johannes Ackermann, Minjun Li|arXiv (Cornell University)|Oct 24, 2022

Advanced Image Processing Techniques被引用 10

一句话总结

本文提出了一种基于预训练低分辨率扩散模型的多阶段混合扩散方法，用于高分辨率图像编辑。通过在中间步骤迭代使用Real-ESRGAN进行超分，并结合Blended Diffusion进行细化——同时辅以Repaint和解码器优化——该方法在兆像素分辨率下实现了全局一致且高保真的编辑效果，优于直接的高分辨率推理和基于分割的编辑基线方法。

ABSTRACT

Diffusion models have shown great results in image generation and in image editing. However, current approaches are limited to low resolutions due to the computational cost of training diffusion models for high-resolution generation. We propose an approach that uses a pre-trained low-resolution diffusion model to edit images in the megapixel range. We first use Blended Diffusion to edit the image at a low resolution, and then upscale it in multiple stages, using a super-resolution model and Blended Diffusion. Using our approach, we achieve higher visual fidelity than by only applying off the shelf super-resolution methods to the output of the diffusion model. We also obtain better global consistency than directly using the diffusion model at a higher resolution.

研究动机与目标

• 实现超越预训练扩散模型512×512限制的高分辨率图像编辑。
• 解决将低分辨率扩散模型直接应用于高分辨率图像时出现的全局不一致性和质量退化问题。
• 在大规模编辑中提升视觉保真度，并改善编辑区域与未编辑区域之间的融合效果。
• 仅使用现成组件和预训练模型，实现对兆像素级图像的实际编辑。

提出的方法

• 将掩码区域裁剪并下采样至与预训练扩散模型（Stable Diffusion v1.4）训练分辨率相匹配。
• 使用Repaint的Blended Latent Diffusion在低分辨率下生成局部一致的编辑结果，通过CLIP相似度选择最佳样本。
• 通过Real-ESRGAN迭代超分图像，然后从中间扩散步骤重新应用Blended Diffusion以优化质量并保持提示一致性。
• 对掩码区域进行低通滤波预处理，以匹配已编辑区域的分辨率，减少去噪过程中的模糊现象。
• 对于非常大的输出图像，将图像分割为重叠的网格块，分别处理后通过Alpha混合重新组合。
• 在每个阶段后应用解码器优化，以改善编辑区域与原始区域之间的融合效果。

实验结果

研究问题

• RQ1 预训练的低分辨率扩散模型能否被有效重用于高分辨率图像编辑？
• RQ2 与直接高分辨率推理相比，采用中间阶段细化的多阶段超分是否能提升全局一致性和视觉质量？
• RQ3 Blended Diffusion与超分模型的结合方式，相较于端到端高分辨率扩散或基于分割的编辑方法，表现如何？
• RQ4 哪些预处理步骤（如低通滤波、Repaint）在超分过程中最有效地保持区域一致性？
• RQ5 该方法在不发生内存溢出的情况下，如何扩展至超大图像（如1000×2000+像素）？

主要发现

• 所提方法在兆像素分辨率下实现了全局一致且高保真的编辑效果，避免了直接高分辨率推理中常见的重复图案和不一致性问题。
• 结合Repaint的Blended Diffusion显著提升了掩码区域与未掩码区域之间的融合效果，尤其在复杂纹理和物体上表现更优。
• 在每个阶段后进行解码器优化可增强编辑区域与原始区域之间的视觉连贯性，但当分辨率极高时计算开销显著增加。
• 该方法优于直接在高分辨率下应用Blended Diffusion，也优于使用DALL-E 2进行分段编辑的方法，后者在一次测试中生成了两个漂浮的雕像。
• 将Repaint步数设为R=5在多种图像类型中实现了质量与一致性的良好平衡，尽管最优设置可能因输入而异。
• Real-ESRGAN超分整体表现良好，但可能在某些情况下移除精细细节，导致融合区域出现伪影。