[论文解读] Boomerang: Local sampling on image manifolds using diffusion models

Lorenzo Luzi, P. Mayer+3 more|arXiv (Cornell University)|Oct 21, 2022

Generative Adversarial Networks and Image Synthesis被引用 10

一句话总结

Boomerang 通过在输入图像上添加受控噪声并反转前向扩散过程，利用预训练的扩散模型在图像流形上实现本地采样，生成与原始图像相近的多样化、逼真的变体。该方法无需模型微调即可实现可控的相似度与随机性，适用于隐私保护的数据生成、数据增强以及单张GPU上的8倍超分辨率。

ABSTRACT

The inference stage of diffusion models can be seen as running a reverse-time diffusion stochastic differential equation, where samples from a Gaussian latent distribution are transformed into samples from a target distribution that usually reside on a low-dimensional manifold, e.g., an image manifold. The intermediate values between the initial latent space and the image manifold can be interpreted as noisy images, with the amount of noise determined by the forward diffusion process noise schedule. We utilize this interpretation to present Boomerang, an approach for local sampling of image manifolds. As implied by its name, Boomerang local sampling involves adding noise to an input image, moving it closer to the latent space, and then mapping it back to the image manifold through a partial reverse diffusion process. Thus, Boomerang generates images on the manifold that are ``similar,'' but nonidentical, to the original input image. We can control the proximity of the generated images to the original by adjusting the amount of noise added. Furthermore, due to the stochastic nature of the reverse diffusion process in Boomerang, the generated images display a certain degree of stochasticity, allowing us to obtain local samples from the manifold without encountering any duplicates. Boomerang offers the flexibility to work seamlessly with any pretrained diffusion model, such as Stable Diffusion, without necessitating any adjustments to the reverse diffusion process. We present three applications for Boomerang. First, we provide a framework for constructing privacy-preserving datasets having controllable degrees of anonymity. Second, we show that using Boomerang for data augmentation increases generalization performance and outperforms state-of-the-art synthetic data augmentation. Lastly, we introduce a perceptual image enhancement framework, which enables resolution enhancement.

研究动机与目标

• 在不进行微调或架构修改的情况下，利用预训练的扩散模型实现在图像流形上的本地采样。
• 提供一种生成与原始图像分布相近但不相同、多样化图像变体的方法。
• 支持隐私保护的数据合成、数据增强和高倍率图像超分辨率等实际应用。
• 探索利用扩散模型的反向动力学解决逆问题（如超分辨率）的可行性。
• 评估该方法在不同扩散模型架构和噪声调度方案下的鲁棒性与可控性。

提出的方法

• 使用前向扩散调度向输入图像的潜在表示添加噪声，使其向潜在空间移动。
• 从对应于噪声水平的选定反向步骤开始，反向执行扩散过程，将其映射回图像流形。
• 通过调整噪声水平（即反向步骤 $t_{\text{Boomerang}}$）来控制与原始图像的相似度。
• 利用扩散过程的随机性，生成多个不同且逼真的同一输入图像的变体。
• 通过级联方式重复应用 Boomerang，以稳定高倍率超分辨率结果，并迭代提升分辨率。
• 利用预训练的扩散模型（例如 Stable Diffusion、Patched Diffusion）而无需任何微调或架构修改。

实验结果

研究问题

• RQ1 我们能否仅通过预训练扩散模型的反向动力学实现在图像流形上的本地采样？
• RQ2 添加的噪声水平如何影响生成图像与原始图像之间的相似度与多样性？
• RQ3 Boomerang 能否有效用于实现可控匿名性的隐私保护数据生成？
• RQ4 Boomerang 在多大程度上能增强数据增强效果，同时保持流形一致性？
• RQ5 Boomerang 能否在不进行微调或专门训练的情况下实现高倍率图像超分辨率（例如 8 倍）？

主要发现

• Boomerang 能够成功生成多样化且逼真的图像变体，与原始输入图像保持接近，其相似度可通过噪声水平 $t_{\text{Boomerang}}$ 进行控制。
• 在 Patched Diffusion 模型上将 $t_{\text{Boomerang}} \approx 100$ 时，实现了图像清晰度与保真度之间的良好平衡，在实证测试中最大化了 PSNR。
• 该方法仅使用一个预训练的扩散模型即可实现 8 倍图像超分辨率，无需任何微调或重新训练。
• 级联式 Boomerang 提升了超分辨率的稳定性，支持迭代分辨率增强和用户可控的细节选择。
• 该方法的性能依赖于噪声调度：在 Patched Diffusion（图像空间噪声）上表现良好，但在 Stable Diffusion（潜在空间噪声）上，当 $t_{\text{Boomerang}}$ 较低时效果较差。
• 该方法效率高，可在单张廉价 GPU 上运行，适用于实际部署。