[论文解读] Improved Order Analysis and Design of Exponential Integrator for Diffusion Models Sampling

Qinsheng Zhang, Jiaming Song+1 more|arXiv (Cornell University)|Aug 4, 2023

Advanced Neuroimaging Techniques and ApplicationsMedicine被引用 3

一句话总结

本文提出了一种新型高阶指数积分器——精化指数求解器（RES），用于扩散模型采样，通过修正现有方法中被忽视的阶次条件，显著提升性能。通过将概率流ODE重述为规范半线性形式并强制满足完整阶次条件，RES在理论误差界和实际性能上均表现更优，在ImageNet上相比DPM-Solver++将FID降低25.4%，数值缺陷降低25.2%（NFE=9）。

ABSTRACT

Efficient differential equation solvers have significantly reduced the sampling time of diffusion models (DMs) while retaining high sampling quality. Among these solvers, exponential integrators (EI) have gained prominence by demonstrating state-of-the-art performance. However, existing high-order EI-based sampling algorithms rely on degenerate EI solvers, resulting in inferior error bounds and reduced accuracy in contrast to the theoretically anticipated results under optimal settings. This situation makes the sampling quality extremely vulnerable to seemingly innocuous design choices such as timestep schedules. For example, an inefficient timestep scheduler might necessitate twice the number of steps to achieve a quality comparable to that obtained through carefully optimized timesteps. To address this issue, we reevaluate the design of high-order differential solvers for DMs. Through a thorough order analysis, we reveal that the degeneration of existing high-order EI solvers can be attributed to the absence of essential order conditions. By reformulating the differential equations in DMs and capitalizing on the theory of exponential integrators, we propose refined EI solvers that fulfill all the order conditions, which we designate as Refined Exponential Solver (RES). Utilizing these improved solvers, RES exhibits more favorable error bounds theoretically and achieves superior sampling efficiency and stability in practical applications. For instance, a simple switch from the single-step DPM-Solver++ to our order-satisfied RES solver when Number of Function Evaluations (NFE) $=9$, results in a reduction of numerical defects by $25.2\%$ and FID improvement of $25.4\%$ (16.77 vs 12.51) on a pre-trained ImageNet diffusion model.

研究动机与目标

• 识别高阶指数积分器在扩散模型中性能下降的根本原因。
• 解决现有求解器（如DPM-Solver++）在理论收敛率与实际性能之间的差距。
• 开发一种满足所有阶次条件的新求解器，以改善误差递推关系并增强鲁棒性。
• 在多种扩散模型和采样设置下，证明所提方法的通用性与优越性。

提出的方法

• 通过变量替换将扩散模型的概率流ODE重述为规范半线性形式，统一噪声预测与数据预测模型。
• 对单步指数积分器进行严格的阶次分析，发现现有方法因退化Butcher表而违反关键阶次条件。
• 通过构建满足所有必要阶次条件的新Butcher表，设计精化指数求解器（RES）。
• 推导RES的理论误差界，其显著优于退化求解器，确保更优的稳定性和收敛性。
• 将RES集成至单步与多步确定性采样方案，以及随机采样中，实现广泛适用性。
• 通过在ImageNet和DeepFloyd IF模型上的大量实验验证方法，与最先进基线在相同设置下进行对比。

实验结果

研究问题

• RQ1 为何高阶指数积分器在扩散模型中表现不佳，尽管声称具有最优收敛率？
• RQ2 现有指数积分器求解器中缺失了哪些特定阶次条件，导致精度与稳定性下降？
• RQ3 如何对扩散模型的概率流ODE进行重参数化，以实现统一且稳定的数值求解框架？
• RQ4 在指数积分器中强制满足完整阶次条件，在多大程度上能提升采样质量与效率？
• RQ5 所提出的精化指数求解器（RES）是否能在多种扩散模型架构与数据模态下超越现有最先进方法？

主要发现

• 在微调的ImageNet扩散模型上，将单步DPM-Solver++切换为单步RES（NFE=9）可使FID从16.77降至12.51，提升25.4%。
• 相同切换使数值缺陷降低25.2%，证明了更高的精度与稳定性。
• 在次优时间步长调度下，RES相比DPM-Solver++实现最高达40%的加速，凸显其鲁棒性。
• 在DeepFloyd IF-I-XL模型上，单步RES在25次NFE下生成64×64图像的质量优于多步方法。
• 在IF-II-L的级联采样中，单步RES即使在较低NFE下，生成的256×256图像质量也优于多步基线。
• 所提方法在不同模型与设置下具有通用性，涵盖噪声预测与数据预测两种形式，FID与感知质量均保持一致提升。