[论文解读] Blended Latent Diffusion

Omri Avrahami, Ohad Fried+1 more|arXiv (Cornell University)|Jun 6, 2022

Multimodal Machine Learning Applications被引用 4

一句话总结

本文提出了一种零样本、加速的局部文本引导图像编辑方法——混合潜在扩散（Blended Latent Diffusion），该方法在预训练文本到图像扩散模型的潜在空间中运行。通过在扩散过程中混合潜在表示并优化重建结果，该方法在推理速度和精度方面优于以往方法，尤其在细 mask 和敏感图像区域方面表现更优。

ABSTRACT

The tremendous progress in neural image generation, coupled with the emergence of seemingly omnipotent vision-language models has finally enabled text-based interfaces for creating and editing images. Handling generic images requires a diverse underlying generative model, hence the latest works utilize diffusion models, which were shown to surpass GANs in terms of diversity. One major drawback of diffusion models, however, is their relatively slow inference time. In this paper, we present an accelerated solution to the task of local text-driven editing of generic images, where the desired edits are confined to a user-provided mask. Our solution leverages a recent text-to-image Latent Diffusion Model (LDM), which speeds up diffusion by operating in a lower-dimensional latent space. We first convert the LDM into a local image editor by incorporating Blended Diffusion into it. Next we propose an optimization-based solution for the inherent inability of this LDM to accurately reconstruct images. Finally, we address the scenario of performing local edits using thin masks. We evaluate our method against the available baselines both qualitatively and quantitatively and demonstrate that in addition to being faster, our method achieves better precision than the baselines while mitigating some of their artifacts.

研究动机与目标

• 解决通用图像中高效、精确的局部文本驱动图像编辑方法缺乏的问题。
• 克服像素级扩散模型在局部编辑任务中推理速度慢的缺陷。
• 在潜在空间中实现高保真度的局部编辑，同时保留原始图像细节，尤其在人脸或文字等敏感区域。
• 解决在低分辨率潜在空间中难以处理的细 mask 编辑挑战。
• 提供仅使用预训练模型的零样本解决方案，避免微调或额外训练。

提出的方法

• 将混合扩散（Blended Diffusion）适配至潜在扩散模型（LDM）的潜在空间中，用潜在空间混合替代像素级混合，以加速推理。
• 引入潜在空间优化技术，以纠正 LDM 中由 VAE 有损编码引起的重建误差，提升高敏感区域的保真度。
• 提出一种膨胀掩码缩小策略，通过在扩散过程中逐步减小掩码尺寸，实现在细 mask 内的精确编辑。
• 利用 CLIP 实现零样本文本-图像对齐，用于对多个生成结果进行排序，确保与输入提示的一致性。
• 以预训练的 LDM 和 CLIP 模型作为基础组件，无需任何微调或重新训练。
• 结合潜在空间混合与迭代优化，平衡局部编辑过程中的速度、精度与语义一致性。

实验结果

研究问题

• RQ1 潜在空间扩散能否被有效适配用于局部、文本引导的图像编辑，同时保持高速与高精度？
• RQ2 在局部编辑过程中，如何减轻 LDM 中的重建伪影，尤其是在感知敏感区域？
• RQ3 在低分辨率潜在空间中，当掩码细小或空间受限时，何种策略可实现精确的局部编辑？
• RQ4 与 Blended Diffusion 和 GLIDE 等现有基线方法相比，所提方法在速度和质量上表现如何？
• RQ5 该方法对输入提示、掩码或图像内容的微小变化有多敏感？

主要发现

• 与像素级基线相比，该方法实现了显著更快的推理速度，其中 Blended Diffusion 的全批量版本作为相关比较基准，因其引入了 CLIP 排序。
• 定量评估显示，在视觉质量与文本对齐方面均取得统计显著性提升（p < 0.001），优于 Blended Diffusion、GLIDE-filtered 和 PaintByWord++。
• 由于提出的掩码缩小策略，该方法在细 mask 情况下能实现更精确的编辑。
• 潜在空间优化有效减少了重建误差，尤其在高频或感知敏感区域（如人脸和文字）表现更优。
• 该方法对输入变化表现出中等敏感度——提示或掩码的微小变化仅导致输出产生小范围、合理的改变，表明其具备良好的可控性。
• CLIP 排序对性能至关重要，因为单样本输出往往无法匹配提示要求，而排序能显著提升生成结果的一致性。