[论文解读] Fast Sampling of Diffusion Models with Exponential Integrator

Qinsheng Zhang, Yongxin Chen|arXiv (Cornell University)|Apr 29, 2022

Model Reduction and Neural Networks被引用 58

一句话总结

DEIS 引入扩散指数积分采样器以加速扩散模型采样，在仅需 10 NFEs 的情况下实现高保真度，并在多种设置中优于 DDIM。

ABSTRACT

The past few years have witnessed the great success of Diffusion models~(DMs) in generating high-fidelity samples in generative modeling tasks. A major limitation of the DM is its notoriously slow sampling procedure which normally requires hundreds to thousands of time discretization steps of the learned diffusion process to reach the desired accuracy. Our goal is to develop a fast sampling method for DMs with a much less number of steps while retaining high sample quality. To this end, we systematically analyze the sampling procedure in DMs and identify key factors that affect the sample quality, among which the method of discretization is most crucial. By carefully examining the learned diffusion process, we propose Diffusion Exponential Integrator Sampler~(DEIS). It is based on the Exponential Integrator designed for discretizing ordinary differential equations (ODEs) and leverages a semilinear structure of the learned diffusion process to reduce the discretization error. The proposed method can be applied to any DMs and can generate high-fidelity samples in as few as 10 steps. In our experiments, it takes about 3 minutes on one A6000 GPU to generate $50k$ images from CIFAR10. Moreover, by directly using pre-trained DMs, we achieve the state-of-art sampling performance when the number of score function evaluation~(NFE) is limited, e.g., 4.17 FID with 10 NFEs, 3.37 FID, and 9.74 IS with only 15 NFEs on CIFAR10. Code is available at https://github.com/qsh-zh/deis

研究动机与目标

• 推动扩散模型的快速采样并分析采样误差的来源。
• 识别在向后扩散积分中可最小化误差的离散化方案。
• 提出并开发 Diffusion Exponential Integrator Sampler（DEIS）及其变体。
• 将 DEIS 与现有采样器联系起来并提供理论依据（例如 DDIM 作为特例）。
• 在标准数据集上对 DEIS 进行经验验证，展示更高的效率和保真度。

提出的方法

• 分析扩散模型的边际等价 SDE/ODE，并识别离散化误差。
• 为概率流中的半线性 ODE 引入 Exponential Integrator（EI），并将其应用于 DEIS。
• 使用 epsilon_theta 和 L_t 对得分进行参数化，以稳定学习和采样。
• 开发 DEIS 的变体，包括通过 ODE 变换的 t AB-DEIS、rho RK-DEIS 和 rho AB-DEIS。
• 引入 epsilon_theta 的高阶多项式外推以提高精度（P_r 外推）。
• 证明在 VPSDE 下确定性 DDIM 是 DEIS 的一个特例，提供基于离散化的理论依据。

实验结果

研究问题

• RQ1 拟合误差和离散化误差如何影响扩散模型的采样质量？
• RQ2 基于 EI 的离散化是否能够降低离散化误差并在少量 NFEs 下实现高质量样本？
• RQ3 在某些前向过程下，DDIM 是否等价于 DEIS 的离散化？DEIS 是否可以推广超越 VPSDE？
• RQ4 epsilon_theta 的更高阶多项式外推是否在有限的 NFEs 下进一步提升采样精度？

主要发现

• DEIS 在较少的 NFEs 下也能产生高保真样本（例如在 CIFAR-10 上 10 NFEs 得到 4.17 FID，在 20 NFEs 时得到 2.86 FID）。
• 基于 EI 的离散化通过更好地处理半线性结构和得分近似误差，优于 Euler 与标准求解器。
• 将得分参数化为 s_theta = -L_t^{-T} epsilon_theta 并使用 epsilon_theta，相较于直接的得分目标可提升精度。
• 在 VPSDE 下确定性 DDIM 作为 DEIS 的一个特例出现，提供了对其有效性的原则性离散化视角。
• epsilon_theta 的高阶多项式外推（P_r）进一步降低离散化误差，并在少步采样时提升采样效果。
• 在有限的 NFEs 情况下，DEIS 的变体（rho RK-DEIS、rho AB-DEIS、t AB-DEIS）在性能上持续优于传统采样器（DDPM、DDIM、PNDM、FastDPM）。