[论文解读] DPM-Solver++: Fast Solver for Guided Sampling of Diffusion Probabilistic Models

Cheng Lu, Y. Zhou+4 more|arXiv (Cornell University)|Nov 2, 2022

Generative Adversarial Networks and Image Synthesis被引用 101

一句话总结

DPM-Solver++ 提供一个无需训练的高阶扩散 ODE 求解器，用于引导采样，在约 15–20 步内获得高质量样本，优于现有针对引导任务的快速求解器。

ABSTRACT

Diffusion probabilistic models (DPMs) have achieved impressive success in high-resolution image synthesis, especially in recent large-scale text-to-image generation applications. An essential technique for improving the sample quality of DPMs is guided sampling, which usually needs a large guidance scale to obtain the best sample quality. The commonly-used fast sampler for guided sampling is DDIM, a first-order diffusion ODE solver that generally needs 100 to 250 steps for high-quality samples. Although recent works propose dedicated high-order solvers and achieve a further speedup for sampling without guidance, their effectiveness for guided sampling has not been well-tested before. In this work, we demonstrate that previous high-order fast samplers suffer from instability issues, and they even become slower than DDIM when the guidance scale grows large. To further speed up guided sampling, we propose DPM-Solver++, a high-order solver for the guided sampling of DPMs. DPM-Solver++ solves the diffusion ODE with the data prediction model and adopts thresholding methods to keep the solution matches training data distribution. We further propose a multistep variant of DPM-Solver++ to address the instability issue by reducing the effective step size. Experiments show that DPM-Solver++ can generate high-quality samples within only 15 to 20 steps for guided sampling by pixel-space and latent-space DPMs.

研究动机与目标

• 推动在扩散概率模型(DPMs)中实现更快且高质量的引导采样的需求。
• 识别在现有高阶求解器在强引导尺度下的不稳定性和训练-测试不匹配问题。
• 提出 DPM-Solver++，结合数据预测参数化、阈值化和多步策略，以实现快速、稳定的引导采样。
• 在像素空间和潜在空间的 DPMs 上通过引导采样展示有效性。
• 提供具有理论收敛性保证的无需训练的求解器方法以及实用算法。

提出的方法

• 使用数据预测模型 x_theta 而不是噪声预测模型 epsilon_theta 来求解扩散 ODE。
• 基于二阶单步方案、泰勒法积分和解析积分项，开发高阶求解器（DPM-Solver++(2S)）。
• 引入第二个二阶多步变体 (DPM-Solver++(2M))，通过重复使用先前解以降低函数评估次数。
• 引入阈值化，在强引导尺度下使样本保持在训练数据分布边界内。
• 给出 Algorithm 1(2S) 和 Algorithm 2(2M) 的收敛性保证，并与指数积分框架相关联。
• 可选扩展到扩散 SDE 形式（SDE-DPM-Solver++ 变体），以实现互补求解器。

实验结果

研究问题

• RQ1 能否在大引导尺度下无需训练、具有高阶的求解器可靠地为 DPM 进行引导采样而不产生不稳定性？
• RQ2 用数据预测模型对 ODE 进行参数化在引导采样下如何影响样本质量与稳定性？
• RQ3 多步策略是否比单步高阶方法提高效率并减少不稳定性？
• RQ4 DPM-Solver++ 是否在像素空间和潜在空间的 DPMs 上对引导任务都有效？
• RQ5 阈值化如何与高阶引导采样器相互作用以缓解训练-测试不匹配？

主要发现

• DPM-Solver++ 可以在 15–20 步内生成高质量的引导样本，优于现有针对引导采样的快速采样器。
• 使用数据预测模型和阈值化可以缓解训练-测试不匹配，并在大引导尺度下提高稳定性。
• 第二阶多步变体(2M)通过重用先前信息实现效率提升，且可能略优于单步版本(2S)。
• 该方法适用于像素空间和潜在空间的 DPMs，展示了引导采样任务的广泛适用性。
• DPM-Solver++ 将 DDIM 统一并扩展为其一阶案例，并提供具有强经验性能的无需训练替代方案。