[论文解读] Denoising Diffusion Bridge Models

Linqi Zhou, Aaron Lou+2 more|arXiv (Cornell University)|Sep 29, 2023

Generative Adversarial Networks and Image Synthesis被引用 4

一句话总结

去噪扩散桥模型（DDBMs）提出了一种统一的生成建模框架，通过学习两个任意分布之间的基于得分的扩散桥，将扩散模型和最优传输泛化统一。该方法在图像翻译任务中达到最先进性能，并在无条件生成任务中匹配最先进FID分数，将基于得分的扩散模型与流匹配统一于单一随机微分方程框架之下。

ABSTRACT

Diffusion models are powerful generative models that map noise to data using stochastic processes. However, for many applications such as image editing, the model input comes from a distribution that is not random noise. As such, diffusion models must rely on cumbersome methods like guidance or projected sampling to incorporate this information in the generative process. In our work, we propose Denoising Diffusion Bridge Models (DDBMs), a natural alternative to this paradigm based on diffusion bridges, a family of processes that interpolate between two paired distributions given as endpoints. Our method learns the score of the diffusion bridge from data and maps from one endpoint distribution to the other by solving a (stochastic) differential equation based on the learned score. Our method naturally unifies several classes of generative models, such as score-based diffusion models and OT-Flow-Matching, allowing us to adapt existing design and architectural choices to our more general problem. Empirically, we apply DDBMs to challenging image datasets in both pixel and latent space. On standard image translation problems, DDBMs achieve significant improvement over baseline methods, and, when we reduce the problem to image generation by setting the source distribution to random noise, DDBMs achieve comparable FID scores to state-of-the-art methods despite being built for a more general task.

研究动机与目标

• 为解决标准扩散模型的局限性，即假设随机噪声先验，在图像翻译等非噪声输入任务中表现不佳。
• 通过扩散桥将基于得分的扩散模型与基于最优传输的流匹配统一于单一框架。
• 通过在扩散桥上学习得分函数，提升图像到图像翻译与无条件生成的性能。
• 减少在条件生成中对启发式技术（如指导或投影采样）的依赖。

提出的方法

• 该方法建模一个反向时间的扩散桥过程，通过由学习到的得分函数驱动的随机微分方程（SDE），在两个给定分布之间插值。
• 将问题表述为学习扩散桥的得分函数，通过SDE积分实现从一个分布到另一个分布的采样。
• 该框架在先验为噪声时泛化为基于得分的扩散模型，在路径为确定性时泛化为流匹配，涵盖两种范式。
• 采用去噪得分匹配目标训练得分网络，通过调整噪声调度和预处理机制以提升稳定性和性能。
• 推理时采用固定步数的Euler-Maruyama采样器，并结合指导缩放，确保各类任务间的一致性。
• 该方法在基于VAE瓶颈的像素空间与潜在空间中均得以应用，实现高效的高分辨率翻译。

Figure 1: A schematic for Denoising Diffusion Bridge Models. DDBM uses a diffusion process guided by a drift adjustment (in blue) towards an endpoint ${\mathbf{x}}_{T}=y$ . They lears to reverse such a bridge process by matching the denoising bridge score (in orange), which allows one to reverse fro

实验结果

研究问题

• RQ1 能否开发一种统一的生成建模框架，自然地处理无条件生成与图像到图像翻译？
• RQ2 学习扩散桥的得分函数与标准基于得分的扩散或流匹配相比，在性能与稳定性方面表现如何？
• RQ3 所提方法是否能在不依赖复杂指导或迭代优化的前提下，实现具有竞争力的FID与LPIPS分数？
• RQ4 当框架简化为无条件生成时，其性能是否能与最先进扩散模型相当？
• RQ5 该方法在潜在空间翻译中是否能有效泛化，同时保持图像质量和结构？

主要发现

• 在潜在空间的Day → Night翻译任务中，DDBM取得27.63的FID，优于Pix2Pix（157.1）与SDEdit（151.1），在IS（3.92）与MSE（0.145）上排名第二。
• 在像素空间图像翻译中，DDBM在DIODE数据集上取得12.38的FID，优于Rectified Flow（12.38）与I2SB（15.56），并取得最佳LPIPS（0.366）与MSE（0.129）分数。
• 在CIFAR-10上的无条件生成任务中，DDBM取得5.88的FID，尽管训练目标更具通用性，但性能与最先进扩散模型相当。
• 在FFHQ-64×64上，DDBM取得5.21的FID，展现出强大的无条件图像生成性能。
• 该方法通过架构改进（如预处理与噪声调度适应）增强了对输入敏感性的鲁棒性，并提升了训练稳定性。
• 定性结果证实了高保真度的翻译效果，生成图像在图像到图像任务中有效保留了结构与身份特征。