[论文解读] Accelerating Convergence of Score-Based Diffusion Models, Provably

Gen Li, Yu Huang+4 more|arXiv (Cornell University)|Mar 6, 2024

Statistical Methods and Inference被引用 5

一句话总结

本文设计了用于分数基扩散模型的无训练加速采样器，在确定性（ODE）和随机性（SDE）采样器上实现了更快的非渐近收敛保证。

ABSTRACT

Score-based diffusion models, while achieving remarkable empirical performance, often suffer from low sampling speed, due to extensive function evaluations needed during the sampling phase. Despite a flurry of recent activities towards speeding up diffusion generative modeling in practice, theoretical underpinnings for acceleration techniques remain severely limited. In this paper, we design novel training-free algorithms to accelerate popular deterministic (i.e., DDIM) and stochastic (i.e., DDPM) samplers. Our accelerated deterministic sampler converges at a rate $O(1/{T}^2)$ with $T$ the number of steps, improving upon the $O(1/T)$ rate for the DDIM sampler; and our accelerated stochastic sampler converges at a rate $O(1/T)$, outperforming the rate $O(1/\sqrt{T})$ for the DDPM sampler. The design of our algorithms leverages insights from higher-order approximation, and shares similar intuitions as popular high-order ODE solvers like the DPM-Solver-2. Our theory accommodates $\ell_2$-accurate score estimates, and does not require log-concavity or smoothness on the target distribution.

研究动机与目标

• 动机：在分数基扩散模型中需要比经验增益更快的采样速度。
• 开发适用于确定性（ODE）和随机性（SDE）设定的无训练加速采样器。
• 在对分数估计和目标分布的最小假设下提供非渐近收敛保证。
• 证明加速将迭代复杂度从 1/ε 提升到 1/√ε（确定性），以及从 1/√ε 提升到 1/ε（随机性）。
• 强调与高阶 ODE 求解器的联系以及在不要求对数凹性或光滑性的前提下的实际相关性。

提出的方法

• 提出带有中点计算和动量样校正项的加速确定性采样器，给出更新规则（15b）–（15c）。
• 为加速的 ODE 采样器建立非渐近总变差（TV）保证：TV(q1,p1) ≤ C1 d^6 log^6 T / T^2 + C1 sqrt(d log^3 T) ε_score + C1 (d log T) ε_Jacobi。
• 证明确定性情形的迭代复杂度提升到 O(poly(d)/√ε)（最多对数因子）。
• 提出带有额外随机化步骤的加速随机采样器以注入噪声，给出更新规则（24a）–（24c）。
• 为加速的 SDE 采样器建立 TV 界：TV(q1,p1) ≤ C1 d^3 log^4.5 T / T + C1 sqrt(d) ε_score log^1.5 T，隐含 1/T 收敛率（带对数项）。
• 证明该分析能够容纳 ℓ2 误差的分数估计以及在不需要对数凹性或光滑性的情形下的通用目标分布。

Figure 1: The progress of the generated samples over different numbers of NFEs (from 4 to 50), using pre-trained scores from the LSUN-Churches dataset. Top row: the vanilla DDIM-type sampler. Bottom row: the accelerated DDIM-type sampler (ours).

实验结果

研究问题

• RQ1 是否可以设计无训练的确定性采样器，使其收敛速度超过用于分数基扩散模型的 DDIM？
• RQ2 是否可以设计无训练的随机采样器，使其在分数基扩散模型中比 DDPM 收敛得更快？
• RQ3 在 ℓ2 分数误差假设下，可以为加速的 DDIM 型和 DDPM 型采样器建立哪些非渐近保证？
• RQ4 提出的加速与高阶 ODE 求解器有何关系，以及对分数基模型的实际意义？
• RQ5 证明加速收敛所需的对分数估计和目标分布的最小假设是什么？

主要发现

• 加速的确定性采样器在迭代复杂度上达到 O(poly(d)/√ε)（并且有对数因子）。
• 加速的随机采样器在总变差上的收敛速率为 O(d^3 log^4.5 T / T) 加上分数估计误差项，即 1/T（带对数项）。
• 理论支持 ℓ2 精度的分数估计，而非 ℓ∞ 精度，并且对目标分布不要求对数凹性或光滑性。
• 加速方法与类似 DPM-Solver-2 的高阶 ODE 求解器具有相似直觉，并与概率流 ODE 动力学相联系。
• 结果为 DDIM 型（确定性）和 DDPM 型（随机）采样器提供非渐近保证，且无需额外训练。

Figure 2: Examples of sampled images from the DDIM-type samplers with 5 NFEs, using pre-trained scores from the LSUN-Churches, LSUN-Bedroom, and CelebA-HQ datasets. For each dataset, the top image is the original DDIM-type sampler, and the bottom image is the accelerated DDIM-type sampler (ours).