[论文解读] Convergence of score-based generative modeling for general data distributions

Holden Lee, Jianfeng Lu+1 more|arXiv (Cornell University)|Sep 26, 2022

Generative Adversarial Networks and Image Synthesis被引用 4

一句话总结

该论文通过在 $L^2$-准确得分估计下分析去噪扩散模型，为一般数据分布（包括多模态和非光滑分布）的得分生成建模（SGM）建立了多项式时间收敛保证。在无需强光滑性或函数不等式假设的前提下，实现了 Wasserstein 距离和总变差距离的界，且误差参数具有高效的多项式依赖关系。

ABSTRACT

Score-based generative modeling (SGM) has grown to be a hugely successful method for learning to generate samples from complex data distributions such as that of images and audio. It is based on evolving an SDE that transforms white noise into a sample from the learned distribution, using estimates of the score function, or gradient log-pdf. Previous convergence analyses for these methods have suffered either from strong assumptions on the data distribution or exponential dependencies, and hence fail to give efficient guarantees for the multimodal and non-smooth distributions that arise in practice and for which good empirical performance is observed. We consider a popular kind of SGM -- denoising diffusion models -- and give polynomial convergence guarantees for general data distributions, with no assumptions related to functional inequalities or smoothness. Assuming $L^2$-accurate score estimates, we obtain Wasserstein distance guarantees for any distribution of bounded support or sufficiently decaying tails, as well as TV guarantees for distributions with further smoothness assumptions.

研究动机与目标

• 弥合得分生成模型（SGM）在真实场景中强大经验性能与薄弱理论理解之间的差距。
• 为 SGM 提供高效（多项式）且适用于一般数据分布（包括多模态和非光滑分布）的收敛保证。
• 在 $L^2$-准确得分估计下分析去噪扩散模型，避免先前工作中常见的 $L^\infty$-误差假设。
• 在数据分布结构假设最少的前提下，推导 Wasserstein 和总变差距离的界。
• 实现误差参数的多项式依赖关系，避免先前工作中出现的指数依赖。

提出的方法

• 分析去噪扩散模型中的反向时间 SDE，用 $L^2$-准确估计替换真实得分函数。
• 采用中等时间分析方法，处理 $L^2$-误差对平稳分布影响的非均匀性，不同于以往基于 $L^\infty$ 的分析。
• 应用耦合论证和高斯尾部概率界，将 TV 距离与 Wasserstein 误差关联，尤其适用于截断样本。
• 引入截断步骤，通过将球外样本替换为零来处理重尾或无界分布。
• 推导实现目标误差 $\varepsilon_{\text{TV}}$ 或 $\varepsilon_{\text{W}}$（总变差或 Wasserstein 距离）所需的得分估计误差 $\varepsilon_\sigma$ 的界。
• 利用亚指数尾部和有界支撑的假设，控制尾部行为并推导出多项式依赖关系。

实验结果

研究问题

• RQ1 我们能否在不假设数据分布光滑性或函数不等式的情况下，为得分生成建模实现多项式时间收敛保证？
• RQ2 在 $L^2$-准确得分估计下，生成分布向数据分布收敛的 Wasserstein 和 TV 距离受何影响？
• RQ3 为实现目标分布误差（$\varepsilon_{\text{TV}}$ 或 $\varepsilon_{\text{W}}$），所需的得分估计精度（$\varepsilon_\sigma$）应达到何种水平？
• RQ4 我们能否在不依赖强正则性条件的前提下，处理有界支撑或亚指数尾部的分布？
• RQ5 在重尾分布存在时，对球外样本进行截断如何影响 Wasserstein 误差？

主要发现

• 对于有界支撑或亚指数尾部的分布，论文实现了 $\operatorname{TV}(p_{t_N}, P_{\text{data}}) \leq \varepsilon_{\text{TV}}$，且 $\varepsilon_\sigma = \widetilde{o}\left(\frac{\varepsilon_{\text{TV}}^{6.5}\varepsilon_{\text{W}}^5}{R^9 d^{2.25}}\right)$，表明误差和维度间具有多项式依赖关系。
• 在额外光滑性假设下，所需得分误差为 $\varepsilon_\sigma = \widetilde{o}\left(\frac{\varepsilon_{\text{TV}}^4}{C^2 d}\right)$，优于先前工作中出现的指数依赖。
• 对于 Wasserstein 误差，论文在一般条件下推导出 $\varepsilon_\sigma = \widetilde{o}\left(\frac{\varepsilon_{\text{W}}^{18}}{R^{22} d^{2.25}}\right)$，在更强光滑性假设下为 $\varepsilon_\sigma = \widetilde{o}\left(\frac{\varepsilon_{\text{W}}^8}{C^2 R^8 d}\right)$。
• 通过采用中等时间方法和精细耦合技术，该分析避免了对直径或逆误差的指数依赖，这与先前工作不同。
• 结果适用于多模态和低维流形支撑的分布，这些分布违反了如对数 Sobolev 不等式等标准假设。
• 通过在球外截断样本并结合高斯尾部概率界，该方法即使在无界分布下也能实现 Wasserstein 误差的界。