[论文解读] Learning Energy-Based Models by Diffusion Recovery Likelihood

Ruiqi Gao, Yang Song+3 more|arXiv (Cornell University)|Dec 15, 2020

Advanced Neuroimaging Techniques and Applications参考文献 52被引用 15

一句话总结

本文提出扩散恢复似然（diffusion recovery likelihood），一种通过在逐步加噪的数据版本上学习一系列能量模型（EBMs）并利用条件似然最大化来训练能量模型（EBM）的方法。与标准最大似然估计（MLE）不同，该方法通过可 tractable 的条件采样实现高效训练与采样，在 CIFAR-10 上实现了 SOTA 的 FID 9.58 和 inception score 8.30，且长期 MCMC 链稳定并保持真实感，从而实现精确的密度估计。

ABSTRACT

While energy-based models (EBMs) exhibit a number of desirable properties, training and sampling on high-dimensional datasets remains challenging. Inspired by recent progress on diffusion probabilistic models, we present a diffusion recovery likelihood method to tractably learn and sample from a sequence of EBMs trained on increasingly noisy versions of a dataset. Each EBM is trained with recovery likelihood, which maximizes the conditional probability of the data at a certain noise level given their noisy versions at a higher noise level. Optimizing recovery likelihood is more tractable than marginal likelihood, as sampling from the conditional distributions is much easier than sampling from the marginal distributions. After training, synthesized images can be generated by the sampling process that initializes from Gaussian white noise distribution and progressively samples the conditional distributions at decreasingly lower noise levels. Our method generates high fidelity samples on various image datasets. On unconditional CIFAR-10 our method achieves FID 9.58 and inception score 8.30, superior to the majority of GANs. Moreover, we demonstrate that unlike previous work on EBMs, our long-run MCMC samples from the conditional distributions do not diverge and still represent realistic images, allowing us to accurately estimate the normalized density of data even for high-dimensional datasets. Our implementation is available at https://github.com/ruiqigao/recovery_likelihood.

研究动机与目标

• 为解决在高维数据上训练能量模型（EBM）的挑战，其中标准最大似然估计（MLE）需要从边缘分布中进行昂贵的 MCMC 采样。
• 克服现有 EBM 方法中长期 MCMC 链的不稳定性，这些方法常因非收敛或无效的稳态分布而产生不真实的样本。
• 通过利用来自条件分布的长期 MCMC 链，实现对学习到的 EBM 下归一化数据密度的精确估计。
• 通过在一系列扩散数据层级上学习 EBM 而非直接在原始数据上学习，提升采样质量和训练效率。
• 证明当使用扩散恢复似然训练时，EBM 中可实现忠实的长期 MCMC 采样，从而支持可靠的密度评估。

提出的方法

• 该方法在通过扩散过程逐步添加高斯噪声生成的、噪声程度递增的数据版本上训练一系列能量模型（EBMs）。
• 每个 EBM 通过恢复似然进行训练，即最大化在较高噪声水平下给定噪声版本时，原始干净数据的条件概率，相比边缘似然，使采样更具可操作性。
• 生成采样从高斯白噪声开始，通过在噪声水平递减的条件下迭代进行条件采样，有效逆转扩散过程。
• 该方法使用自适应步长的哈密顿蒙特卡洛（HMC）从条件分布中生成长期 MCMC 链，确保高接受率和样本真实性。
• 采用退火重要性采样（AIS）估计干净数据分布的对数分区函数，从而实现归一化密度估计。
• 该框架将 Bengio 等人（2013）提出的恢复似然目标适应到扩散设置中，实现了无需直接边缘采样的高效训练。

实验结果

研究问题

• RQ1 在加噪数据上使用恢复似然是否能实现无需昂贵边缘 MCMC 采样的高效且稳定的 EBM 训练？
• RQ2 基于扩散的 EBM 的条件分布所产生的长期 MCMC 链是否仍保持真实感，表明能量势函数有效且稳定？
• RQ3 能否通过长期 MCMC 与重要性采样准确估计学习到的 EBM 下的数据归一化密度？
• RQ4 当使用显式能量函数的梯度作为得分函数时，扩散恢复似然与去噪得分匹配的性能相比如何？
• RQ5 增加扩散时间步数（如 1000 步）是否能提升长期 MCMC 采样与密度估计的稳定性和质量？

主要发现

• 该方法在无条件 CIFAR-10 上实现了 FID 9.58 和 inception score 8.30，优于大多数 GAN 方法及现有的显式 EBM 学习方法。
• 即使经过 100,000 次采样步骤，来自条件分布的长期 MCMC 链仍保持真实感，FID 为 24.89，接近来自正态近似的链的 25.12。
• 干净数据分布的对数分区函数估计在多次运行中均稳定收敛，表明通过退火重要性采样实现的密度估计可靠。
• 该方法可通过变量变换与 AIS 实现对归一化数据密度的精确估计，测试的每维比特数见表 4，尽管该估计为随机下界。
• 即使在 1,000 个扩散时间步下，长期 MCMC 链仍保持忠实与真实，表明学习到的能量势函数有效且结构良好。
• 当使用显式能量函数的梯度作为得分函数时，该方法优于朴素的去噪得分匹配，凸显了学习完整 EBM 相较于得分函数的优势。