[论文解读] Soft Diffusion: Score Matching for General Corruptions

Giannis Daras, Mauricio Delbracio+3 more|arXiv (Cornell University)|Sep 12, 2022

Mathematical Biology Tumor Growth被引用 29

一句话总结

本论文提出 Soft Score Matching，用于学习一般线性污染过程的分数函数，在 CelebA-64 上实现了最先进的 FID，并且采样速度比 Vanilla diffusion 更快。

ABSTRACT

We define a broader family of corruption processes that generalizes previously known diffusion models. To reverse these general diffusions, we propose a new objective called Soft Score Matching that provably learns the score function for any linear corruption process and yields state of the art results for CelebA. Soft Score Matching incorporates the degradation process in the network. Our new loss trains the model to predict a clean image, extit{that after corruption}, matches the diffused observation. We show that our objective learns the gradient of the likelihood under suitable regularity conditions for a family of corruption processes. We further develop a principled way to select the corruption levels for general diffusion processes and a novel sampling method that we call Momentum Sampler. We show experimentally that our framework works for general linear corruption processes, such as Gaussian blur and masking. We achieve state-of-the-art FID score $1.85$ on CelebA-64, outperforming all previous linear diffusion models. We also show significant computational benefits compared to vanilla denoising diffusion.

研究动机与目标

• 激励扩散模型处理超越加性高斯噪声的更广泛污染过程。
• 开发一个可证明学习正则线性污染过程的分数的训练目标，并在网络中结合降解算子。
• 提出一个有原理的中间污染水平选择方法以及一个新颖的 Momentum Sampler 以提高采样效率。
• 在 CelebA-64 和 CIFAR-10 上展示出比 vanilla diffusion 更快计算的最先进生成性能。

提出的方法

• 定义一个通用污染模型 x_t = C_t x_0 + s_t η_t，其中 C_t 是确定性线性算子，η_t 是高斯噪声。
• 推导 Soft Score Matching 损失函数，使网络预测清晰图像的模糊或污染版本，结合污染 C_t。
• 将网络重新参数化，以通过 s_theta(x_t|t) = (C_t h_theta(x_t|t) - x_t) / σ_t^2 来预测噪声分量，并进一步学习残差以稳定训练。
• 提供一个 DSM-like 目标，使 s_theta 与对数似然的梯度 q_t(x_t) 在温和正则性假设下对齐（定理 3.1）。
• 引入 Momentum Sampler，通过在不同扩散水平的污染的凸组合来生成样本，从而提高多样性和采样效率。
• 在 CelebA 和 CIFAR-10 上展示高斯模糊再加噪声作为扩散机制的实验，在 CelebA-64 上达到 FID 1.85。

实验结果

研究问题

• RQ1 是否可以对广泛的线性污染过程证明性地学习分数匹配？
• RQ2 在一般线性扩散中，应该如何选择中间污染水平以优化学习和采样？
• RQ3 将污染算子纳入网络是否在污染为模糊类时提升学习与样本质量？
• RQ4 与标准扩散方法相比，提出的 Momentum Sampler 如何影响样本多样性与生成速度？

主要发现

• 在温和条件下，Soft Score Matching 能证明性地学习对正规线性污染过程的分数。
• 该方法在 CelebA-64 的线性扩散模型上实现了最先进的 FID 1.85。
• 将污染算子并入网络在污染为模糊类时可改善实际学习。
• Momentum Sampler 提升样本多样性并相较于纯扩散降低计算成本。
• 在 CelebA 和 CIFAR-10 的实验表明对一般线性污染如高斯模糊和遮罩有效。
• 该框架相对于 vanilla 高斯去噪扩散具有更快的采样速度。