[论文解读] Let us Build Bridges: Understanding and Extending Diffusion Generative Models

Xingchao Liu, Lemeng Wu+2 more|arXiv (Cornell University)|Aug 31, 2022

Generative Adversarial Networks and Image Synthesis被引用 5

一句话总结

本文通过将扩散生成模型重新构架为具有插补扩散桥过程的潜在变量模型，提出了一套统一的框架以理解和扩展扩散生成模型。该框架引入了系统化的方法来构建 x-桥和 Ω-桥，从而实现在任意数据域（包括离散、结构化和非欧几里得数据）上的学习，实现了在图像、语义分割和 3D 点云上的最先进性能，同时提供了理论误差分析并提升了采样效率。

ABSTRACT

Diffusion-based generative models have achieved promising results recently, but raise an array of open questions in terms of conceptual understanding, theoretical analysis, algorithm improvement and extensions to discrete, structured, non-Euclidean domains. This work tries to re-exam the overall framework, in order to gain better theoretical understandings and develop algorithmic extensions for data from arbitrary domains. By viewing diffusion models as latent variable models with unobserved diffusion trajectories and applying maximum likelihood estimation (MLE) with latent trajectories imputed from an auxiliary distribution, we show that both the model construction and the imputation of latent trajectories amount to constructing diffusion bridge processes that achieve deterministic values and constraints at end point, for which we provide a systematic study and a suit of tools. Leveraging our framework, we present 1) a first theoretical error analysis for learning diffusion generation models, and 2) a simple and unified approach to learning on data from different discrete and constrained domains. Experiments show that our methods perform superbly on generating images, semantic segments and 3D point clouds.

研究动机与目标

• 解决扩散生成模型中的概念和理论空白，特别是关于设计选择、可解释性以及在连续欧几里得域之外的泛化能力。
• 开发一种系统化的方法来构建潜在轨迹（即扩散桥），以确保观测数据点或受限域的确定性终态。
• 通过一种通用且原理化的方法，实现在任意数据域 Ω ⊆ ℝᵈ 上的有效学习，包括离散、分类、序数及混合类型数据。
• 为扩散模型学习提供首个理论误差分析，量化统计误差和时间离散化误差。
• 提升采样效率，并在无需临时修改的情况下将扩散模型的适用范围扩展到非欧几里得和受限数据。

提出的方法

• 将扩散模型重新构架为潜在变量模型，其中通过辅助分布插补未观测到的扩散轨迹，从而实现最大似然估计。
• 引入 x-桥以生成在终端时间 T 确定性地到达给定数据点 x 的潜在轨迹。
• 引入 Ω-桥以生成几乎必然在时间 T 到达受限域 Ω 的轨迹，从而支持对结构化或离散数据的建模。
• 通过使用插补轨迹来最大化似然，构建生成模型，其中漂移函数 sθ 通过神经网络学习。
• 采用时间离散化的 SDE 并使用 Euler-Maruyama 格式，推导出以样本量 n 和步长 ε 表示的误差界。
• 应用噪声调度（例如衰减、Ornstein-Uhlenbeck 过程）以控制随时间变化的噪声幅度，从而实现灵活且高效的采样。

实验结果

研究问题

• RQ1 如何在单一统计框架下理论化并统一理解扩散生成模型？
• RQ2 潜在轨迹插补在扩散模型学习中的基本作用是什么？如何系统化地构建它？
• RQ3 能否开发出一种单一、通用的方法，用于在任意数据域（包括离散和结构化数据）上训练扩散模型？
• RQ4 扩散模型学习的理论误差界是什么？统计误差和离散化误差如何随数据量和步长变化？
• RQ5 如何在保持多样化数据类型高质量生成的前提下，提升采样效率？

主要发现

• 所提出的框架在离散 CIFAR-10 生成任务中实现了 6.52 的 FID 分数和 8.84 的 IS 分数，性能优于先前的扩散模型，并与 GAN 相当。
• 理论分析表明，真实分布与学习分布之间的 KL 散度以 O((log(1/ε) + 1)/n + ε) 的速率收敛，这是首次为扩散模型学习提供全面的误差界。
• 该方法实现了 CityScapes 数据集上语义分割图的高保真生成，像素向量的 8 个维度中有 7 个达到 0 或 1，形成有效的 one-hot 向量。
• 采用噪声衰减调度（A、B、C）的桥结构在连续 CIFAR-10 上生成了高质量图像，性能与 DDPM 或其他 SOTA 扩散模型相当或更优。
• 该框架成功生成了 3D 点云和离散数据，而无需像去量化或多项式扩散那样进行领域特定的修改。
• 该方法通过统一的算法框架，在各种数据类型（包括有界、无界、连续和离散数据）上均表现出采样速度提升和鲁棒性增强。