[论文解读] Denoising Diffusion Implicit Models

Jiaming Song, Chenlin Meng+1 more|arXiv (Cornell University)|Oct 6, 2020

Generative Adversarial Networks and Image Synthesis参考文献 40被引用 102

一句话总结

DDIMs 是隐式扩散模型，复用 DDPM 的训练目标，但实现非马尔可夫前向过程，从而在大大减少采样步数的同时实现高质量图像生成，并支持潜在空间插值与重建。

ABSTRACT

Denoising diffusion probabilistic models (DDPMs) have achieved high quality image generation without adversarial training, yet they require simulating a Markov chain for many steps to produce a sample. To accelerate sampling, we present denoising diffusion implicit models (DDIMs), a more efficient class of iterative implicit probabilistic models with the same training procedure as DDPMs. In DDPMs, the generative process is defined as the reverse of a Markovian diffusion process. We construct a class of non-Markovian diffusion processes that lead to the same training objective, but whose reverse process can be much faster to sample from. We empirically demonstrate that DDIMs can produce high quality samples $10 imes$ to $50 imes$ faster in terms of wall-clock time compared to DDPMs, allow us to trade off computation for sample quality, and can perform semantically meaningful image interpolation directly in the latent space.

研究动机与目标

• 揭示 DDPM 采样效率与 GAN 风格性能之间的差距。
• 引入一类更广泛的前向过程，保持 DDPM 的训练目标。
• 提出 DDIMs 作为确定性的隐式模型，使生成更快且可控。
• 展示经验性收益，包括更快的采样、插值与重建能力。

提出的方法

• 在保持与 DDPM 相同代理目标的前提下，将前向扩散从马尔可夫推广到非马尔可夫。
• 定义一个可训练的生成过程 p_theta(x_0:T)，该过程通过 f_theta^(t)(x_t) 使用来自 x_t 对 x_0 的预测。
• 推导一个统一的变分目标 J_sigma，该目标在合适的 gamma 下等价于 DDPM 的 L_gamma 目标，从而实现跨非马尔可夫前向的 DDPM 训练复用。
• 推导将预测的 x_0 与朝向 x_{t-1} 的确定性路径组合的 DDIM 采样更新，使得可实现确定采样（eta=0）或随机采样（eta>0）。
• 提出通过使用前向子集轨迹 tau 来加速生成，以在无需重新训练的情况下用更少的步数进行采样。

实验结果

研究问题

• RQ1 非马尔可夫前向过程是否能够在实现更快或更可控采样的同时，得到与 DDPM 相同的变分目标？
• RQ2 如何构建保留高层语义并实现潜在空间插值的确定性或半确定性采样方案？
• RQ3 与 DDPM 相比，DDIM 在采样速度、样本质量和重建能力方面有哪些权衡？
• RQ4 在不重新训练的情况下，预训练的 DDPM 模型是否可以用于非马尔可夫前向过程？
• RQ5 DDIM 采样器是否存在将连续时间 ODE 解释与神经 ODE 和概率流方法连接起来的解释？

主要发现

• DDIMs 实现比 DDPMs 快 10x 至 50x 的采样同时保持高质量的样本。
• DDIMs 展示一致性特性：相同的初始潜在量 x_T 在不同轨迹长度下生成的样本具有相似的高层特征。
• 确定性 DDIM 采样使样本之间的潜在空间插值具有意义。
• DDIMs 能以较低误差从潜在编码重建观测，与随机的 DDPM 采样不同。
• 通过减少步数实现更快的生成无需重新训练，因为 DDIMs 在非马尔可夫前向过程中复用 DDPM 目标。
• 插值和重建能力类似于隐式模型和类似神经 ODE 的行为。