[论文解读] Towards Faster Non-Asymptotic Convergence for Diffusion-Based Generative Models

Gen Li, Yuting Wei+2 more|arXiv (Cornell University)|Jun 15, 2023

Markov Chains and Monte Carlo Methods被引用 5

一句话总结

本论文在 $\ell_2$-精确得分估计的条件下，为基于扩散的生成模型建立了非渐近收敛理论，证明了确定性采样器的收敛速率为 $1/T$（优于先前结果），随机采样器的收敛速率为 $1/\sqrt{T}$（与当前最先进水平一致）。此外，提出了加速变体，分别实现了 $1/T^2$ 和 $1/T$ 的收敛速率，采用了一套新颖的非渐近框架，无需依赖 SDE/ODE 工具箱。

ABSTRACT

Diffusion models, which convert noise into new data instances by learning to reverse a Markov diffusion process, have become a cornerstone in contemporary generative modeling. While their practical power has now been widely recognized, the theoretical underpinnings remain far from mature. In this work, we develop a suite of non-asymptotic theory towards understanding the data generation process of diffusion models in discrete time, assuming access to $\ell_2$-accurate estimates of the (Stein) score functions. For a popular deterministic sampler (based on the probability flow ODE), we establish a convergence rate proportional to $1/T$ (with $T$ the total number of steps), improving upon past results; for another mainstream stochastic sampler (i.e., a type of the denoising diffusion probabilistic model), we derive a convergence rate proportional to $1/\sqrt{T}$, matching the state-of-the-art theory. Imposing only minimal assumptions on the target data distribution (e.g., no smoothness assumption is imposed), our results characterize how $\ell_2$ score estimation errors affect the quality of the data generation processes. In contrast to prior works, our theory is developed based on an elementary yet versatile non-asymptotic approach without resorting to toolboxes for SDEs and ODEs. Further, we design two accelerated variants, improving the convergence to $1/T^2$ for the ODE-based sampler and $1/T$ for the DDPM-type sampler, which might be of independent theoretical and empirical interest.

研究动机与目标

• 为基于扩散的生成模型开发一种非渐近理论框架，避免依赖 SDE/ODE 工具箱。
• 在目标分布假设最少的前提下，刻画 $\ell_2$-精确得分估计误差对生成质量的影响。
• 在离散时间下，为主流的确定性和随机采样器建立更紧致的收敛速率。
• 设计采样器的加速变体，实现更优的收敛速率：基于 ODE 的为 $1/T^2$，DDPM 类型的为 $1/T$。

提出的方法

• 提出一种基于初等不等式与矩阵集中不等式的非渐近分析框架，避免使用复杂的 SDE/ODE 机制。
• 通过得分估计误差控制估计反向过程与真实反向过程之间的偏差，分析概率流 ODE 采样器。
• 通过递归误差传播与反向过程动力学中雅可比矩阵的控制，推导收敛速率。
• 通过调整步长与更新规则，引入加速采样器，利用定制的学习率调度实现更快收敛。
• 利用矩阵范数界与矩假设，控制反向过程中协方差结构，尤其在 DDPM 类型采样器中。
• 采用反向过程误差的递归分解，将其与得分估计误差及数据分布的几何结构联系起来。

实验结果

研究问题

• RQ1 当得分函数以 $\ell_2$ 精度估计时，扩散模型中确定性采样器的非渐近收敛速率是多少？
• RQ2 在分布假设最少的前提下，$\ell_2$ 得分估计误差如何影响扩散模型中生成样本的质量？
• RQ3 能否通过非渐近框架使 DDPM 类型随机采样器的收敛速率达到或优于当前理论上限？
• RQ4 可以设计哪些加速采样方案，使其收敛速率优于 $1/T$ 或 $1/\sqrt{T}$？
• RQ5 是否可能在不依赖 SDE/ODE 工具箱或强光滑性假设的前提下，为扩散模型建立理论体系？

主要发现

• 基于概率流 ODE 的确定性采样器实现了非渐近收敛速率 $\mathcal{O}(1/T)$，优于先前结果。
• DDPM 类型的随机采样器实现了 $\mathcal{O}(1/\sqrt{T})$ 的收敛速率，与当前最先进理论边界一致。
• 所提出的加速确定性采样器实现了 $\mathcal{O}(1/T^2)$ 的收敛速率，显著优于标准的 $1/T$。
• 加速的 DDPM 类型采样器实现了 $\mathcal{O}(1/T)$ 的收敛速率，优于标准的 $1/\sqrt{T}$。
• 理论在最小假设下成立：对目标数据分布未施加光滑性或矩条件。
• 分析严格量化了 $\ell_2$ 得分估计误差对最终生成质量的影响，表明其在误差传播中呈 $\mathcal{O}(\|\widehat{\nabla \log p_t} - \nabla \log p_t\|_2^2)$ 的尺度。