[论文解读] DPM-Solver: A Fast ODE Solver for Diffusion Probabilistic Model Sampling in Around 10 Steps

Cheng Lü, Yuhao Zhou+4 more|arXiv (Cornell University)|Jun 2, 2022

Model Reduction and Neural Networks被引用 288

一句话总结

DPM-Solver 引入了一种快速的、无需训练的扩散概率模型求解器，通过用高阶指数积分器求解扩散 ODEs，能够在大约 10 步实现高质量样本。它在多个数据集上超越了现有的无训练采样器。

ABSTRACT

Diffusion probabilistic models (DPMs) are emerging powerful generative models. Despite their high-quality generation performance, DPMs still suffer from their slow sampling as they generally need hundreds or thousands of sequential function evaluations (steps) of large neural networks to draw a sample. Sampling from DPMs can be viewed alternatively as solving the corresponding diffusion ordinary differential equations (ODEs). In this work, we propose an exact formulation of the solution of diffusion ODEs. The formulation analytically computes the linear part of the solution, rather than leaving all terms to black-box ODE solvers as adopted in previous works. By applying change-of-variable, the solution can be equivalently simplified to an exponentially weighted integral of the neural network. Based on our formulation, we propose DPM-Solver, a fast dedicated high-order solver for diffusion ODEs with the convergence order guarantee. DPM-Solver is suitable for both discrete-time and continuous-time DPMs without any further training. Experimental results show that DPM-Solver can generate high-quality samples in only 10 to 20 function evaluations on various datasets. We achieve 4.70 FID in 10 function evaluations and 2.87 FID in 20 function evaluations on the CIFAR10 dataset, and a $4\sim 16 imes$ speedup compared with previous state-of-the-art training-free samplers on various datasets.

研究动机与目标

• 在不进行额外训练的情况下，推动扩散概率模型（DPMs）更快的采样。
• 利用扩散 ODE 视角，利用半线性结构实现对线性项的精确处理。
• 开发具有收敛性保证的高阶、少步求解器以用于 DPMs。
• 提供自适应和离散时间兼容性，以覆盖连续时间和离散时间的 DPMs。

提出的方法

• 将扩散采样表述为求解具有半线性结构的扩散 ODE。
• 通过常数变易法导出线性部分的精确解，并将其转换为对噪声预测器的指数加权积分。
• 引入 DPM-Solver，提供一阶/二阶/三阶版本（DPM-Solver-1/2/3）及收敛性保证。
• 采用自适应或均匀步长策略，并组合求解器以实现少步采样（NFE ~ 10-20）。
• 证明 DPM-Solver-1 与 DDIM 更新等价，并与基于 RK 的求解器和基于训练的方法进行比较。

实验结果

研究问题

• RQ1 扩散概率模型的采样是否可以表述为具有半线性结构的扩散 ODE，以实现对线性项的精确处理？
• RQ2 哪些高阶、无需训练的求解器能够在大约 10 步内在各数据集上获得高质量样本？
• RQ3 受到指数积分器启发的求解器在少步区间内是否能为 DPMs 提供收敛性保证？
• RQ4 是否存在一种实用的步长安排（自适应/均匀）在最小化 NFE 的同时保持样本质量？
• RQ5 该方法是否能够扩展到连续时间与离散时间的 DPMs，包括分类器引导采样？

主要发现

Sampling method	12	18	24	30	36	42	48
RK2 (t)	16.40	7.25	3.90	3.63	3.58	3.59	3.54
RK2 (λ)	107.81	42.04	17.71	7.65	4.62	3.58	3.17
DPM-Solver-2	5.28	3.43	3.02	2.85	2.78	2.72	2.69
RK3 (t)	48.75	21.86	10.90	6.96	5.22	4.56	4.12
RK3 (λ)	34.29	4.90	3.50	3.03	2.85	2.74	2.69
DPM-Solver-3	6.03	2.90	2.75	2.70	2.67	2.65	2.65

• DPM-Solver 在大约 10 到 20 次函数评估（NFE）内在各数据集上获得高质量样本。
• DPM-Solver-1、-2、-3 提供扩散 ODE 的一阶、二阶和三阶收敛性保证。
• 在少步情形下，DPM-Solver 超越了以往的无训练采样器和基于 RK 的方法，例如 CIFAR-10 结果显示样本质量提升更快。
• DDIM 是 DPM-Solver-1 的一个特例，通过半线性 ODE 结构解释其性能。
• 自适应步长策略和求解器组合在固定 NFE 预算下最大化效率。