[论文解读] Deep Unsupervised Learning using Nonequilibrium Thermodynamics

Jascha Sohl‐Dickstein, Eric A. Weiss+2 more|arXiv (Cornell University)|Mar 12, 2015

Advanced Thermodynamics and Statistical Mechanics参考文献 45被引用 1,415

一句话总结

本文提出了一种基于非平衡热力学的深度生成模型，通过前向扩散过程逐步破坏数据结构，并利用学习到的反向过程重建数据。该方法实现了精确采样、可 tractable 的似然评估以及高效的后验推断，在 MNIST、CIFAR-10 以及如枯叶和树皮纹理等自然图像数据集上达到了最先进的对数似然性能。

ABSTRACT

A central problem in machine learning involves modeling complex data-sets using highly flexible families of probability distributions in which learning, sampling, inference, and evaluation are still analytically or computationally tractable. Here, we develop an approach that simultaneously achieves both flexibility and tractability. The essential idea, inspired by non-equilibrium statistical physics, is to systematically and slowly destroy structure in a data distribution through an iterative forward diffusion process. We then learn a reverse diffusion process that restores structure in data, yielding a highly flexible and tractable generative model of the data. This approach allows us to rapidly learn, sample from, and evaluate probabilities in deep generative models with thousands of layers or time steps, as well as to compute conditional and posterior probabilities under the learned model. We additionally release an open source reference implementation of the algorithm.

研究动机与目标

• 解决概率建模中模型灵活性与计算可 tractability 之间的长期权衡问题。
• 开发一种支持精确采样、高效似然评估与可 tractable 后验推断的生成模型。
• 在不依赖难以计算的归一化常数的前提下，实现对复杂数据分布的高容量建模。
• 提供一个统一的框架，适用于从合成分布到自然图像的多样化数据集。
• 在基准数据集上实现最先进的性能，同时保持分析上的可 tractability。

提出的方法

• 模型使用前向扩散过程，在时间步上逐步向数据添加高斯噪声，将数据分布转化为标准正态分布。
• 学习一个反向扩散过程，从噪声中重建原始数据分布，其参数化由神经网络预测漂移项和扩散项。
• 通过最小化真实与模型化反向轨迹之间的差异，使用对数似然的变分下界来训练反向过程。
• 该方法利用扩散链中每一步均可解析计算的特性，实现概率与梯度的精确计算。
• 通过与其他分布相乘，该框架支持条件生成与后验推断。
• 图像建模采用多尺度卷积架构，所有数据集共享同一架构。

实验结果

研究问题

• RQ1 是否可以设计一种深度生成模型，既具备高度灵活性，又支持对数似然评估与采样的分析可 tractability？
• RQ2 基于扩散的方法是否能在 CIFAR-10 和自然图像纹理等复杂数据集上实现最先进的对数似然性能？
• RQ3 学习非平衡扩散过程的反向过程是否能实现精确采样与高效的后验计算？
• RQ4 该方法是否能在从合成分布到真实世界图像的多样化数据类型上实现泛化？
• RQ5 与现有密度估计技术相比，该方法在似然性能与生成样本质量方面表现如何？

主要发现

• 在 CIFAR-10 上，该模型实现了 -1.10 bits/dim 的对数似然下界，优于此前所有方法。
• 在枯叶数据集上，该模型达到了最先进性能，展示了对复杂自然图像统计特性的强大建模能力。
• 在 MNIST 数据集上，该模型的对数似然性能与先前方法相当或更优，且得益于该框架实现了精确的似然评估。
• 该模型成功建模了二维瑞士卷分布，反向过程准确重构了原始数据流形。
• 该模型实现了高质量的条件生成与后验推断，通过在树皮纹理图像中成功修复缺失区域得到验证。
• 该算法的开源实现已公开，有助于复现与进一步研究。