[论文解读] Minimum Probability Flow Learning

Jascha Sohl‐Dickstein, Peter Battaglino+1 more|arXiv (Cornell University)|Jun 25, 2009

Gaussian Processes and Bayesian Inference参考文献 20被引用 10

一句话总结

本文提出最小概率流（MPF）学习，一种新颖的参数估计技术，通过在无穷小时间下最小化数据分布与模型动力学演化后分布之间的Kullback–Leibler散度，避免了难以计算的归一化常数。MPF在伊辛模型中实现最先进性能——学习时间缩短两个数量级——同时作为统一框架，推广了得分匹配、对比发散和最小速度学习方法。

ABSTRACT

Fitting probabilistic models to data is often difficult, due to the general intractability of the partition function and its derivatives. Here we propose a new parameter estimation technique that does not require computing an intractable normalization factor or sampling from the equilibrium distribution of the model. This is achieved by establishing dynamics that would transform the observed data distribution into the model distribution, and then setting as the objective the minimization of the KL divergence between the data distribution and the distribution produced by running the dynamics for an infinitesimal time. Score matching, minimum velocity learning, and certain forms of contrastive divergence are shown to be special cases of this learning technique. We demonstrate parameter estimation in Ising models, deep belief networks and an independent component analysis model of natural scenes. In the Ising model case, current state of the art techniques are outperformed by at least an order of magnitude in learning time, with lower error in recovered coupling parameters.

研究动机与目标

• 为解决概率模型拟合中难以计算的归一化常数这一根本挑战，特别是针对高维数据。
• 开发一种避免从模型稳态分布采样或计算其归一化的参数估计方法。
• 在统一的原理性框架下，统一并推广现有技术，如对比发散、得分匹配和最小速度学习。
• 在复杂模型（如深度置信网络和自然场景的Student-t分布乘积模型）中实现高效学习。
• 证明最小化初始概率流向模型分布可实现高精度参数恢复，且计算开销极低。

提出的方法

• 提出一种基于动力学的方法，定义一个随机过程，将任意初始分布演化至模型的稳态分布。
• 将目标定义为最小化观测数据分布与在模型动力学作用下经过无穷小时间演化后所得分布之间的KL散度。
• 推导出目标函数为时间零时KL散度的变化率，其仅依赖于初始数据分布和转移率。
• 通过KL散度的泰勒展开，证明最小化从数据状态到非数据状态的概率初始流动，等价于最小化KL散度的变化率。
• 将方法应用于离散和连续状态空间，重点关注指数族模型，其中目标函数为凸函数。
• 在伊辛模型、深度置信网络和自然场景的Student-t分布乘积模型上验证该方法，采用推导出的目标函数进行梯度下降优化。

实验结果

研究问题

• RQ1 是否可以在不计算难以计算的归一化常数或从模型稳态分布采样的情况下实现参数估计？
• RQ2 如何利用概率模型的动力学特性构建可计算的学习目标？
• RQ3 是否存在一个统一框架，能将对比发散、得分匹配和最小速度学习统一为特例？
• RQ4 最小化初始概率流是否能实现与最大似然相当的高精度参数恢复？
• RQ5 MPF学习是否能高效扩展至深度置信网络和高维自然图像模型等复杂模型？

主要发现

• MPF学习在伊辛模型参数估计中达到最先进性能，相比当前方法将学习时间缩短约两个数量级。
• 尽管避免了归一化常数的计算，该方法仍能以与最大似然相当的精度恢复模型参数。
• MPF将对比发散、得分匹配和最小速度学习统一为同一动力学框架下的特例，实现广义化与统一。
• 对于指数族模型，MPF目标函数为凸函数，确保在标准优化方法下收敛至全局最小值。
• 该方法成功应用于深度置信网络和自然场景的Student-t分布乘积模型，证明其在复杂高维数据上的广泛适用性。
• 理论分析表明，最小化从数据状态到非数据状态的概率初始流动，等价于最小化KL散度增长速率，从而提供稳定且高效的优化信号。