[论文解读] Fast Gradient-Based Inference with Continuous Latent Variable Models in Auxiliary Form

Diederik P. Kingma|arXiv (Cornell University)|Jun 4, 2013

Gaussian Processes and Bayesian Inference参考文献 13被引用 29

一句话总结

本文提出了一种针对具有连续隐变量的贝叶斯网络的辅助形式转换方法，通过引入独立的辅助变量使隐变量条件确定化，从而实现条件确定性。通过扩大马尔可夫毯，该方法加速了基于梯度的推理——在MNIST和动态贝叶斯网络上的MAP推理中实现了10倍的速度提升——且不改变原始模型的分布特性。

ABSTRACT

We propose a technique for increasing the efficiency of gradient-based inference and learning in Bayesian networks with multiple layers of continuous latent vari- ables. We show that, in many cases, it is possible to express such models in an auxiliary form, where continuous latent variables are conditionally deterministic given their parents and a set of independent auxiliary variables. Variables of mod- els in this auxiliary form have much larger Markov blankets, leading to significant speedups in gradient-based inference, e.g. rapid mixing Hybrid Monte Carlo and efficient gradient-based optimization. The relative efficiency is confirmed in ex- periments.

研究动机与目标

• 提高具有多层连续隐变量的深度贝叶斯网络中基于梯度的推理与学习效率。
• 解决在高维、非线性模型中精确推理不可行时的计算瓶颈问题。
• 开发一种可推广的变换方法，在保持模型等价性的同时提升推理速度。
• 在复杂模型（如深度生成网络和动态贝叶斯网络）上对方法进行实证验证。

提出的方法

• 将原始贝叶斯网络转换为一种辅助形式，使得连续隐变量在给定辅助变量和父节点的条件下成为条件确定的。
• 用辅助变量E和父节点的可微函数替代连续隐变量Z，使用可微的逆累积分布函数（CDF）或其近似。
• 对变换后的隐变量Z进行边缘化，得到观测变量X和辅助变量E的联合概率密度函数。
• 利用辅助形式中扩大的马尔可夫毯，提升HMC和优化中的梯度传播效率。
• 在原始形式和辅助形式中分别使用混合蒙特卡洛（HMC）进行推理和使用Adagrad进行学习，以实现公平比较。
• 通过边缘化辅助变量，确保原始模型与辅助模型之间的等价性，从而保持原始联合分布不变。

实验结果

研究问题

• RQ1 将连续隐变量模型转换为辅助形式是否能显著加速基于梯度的推理？
• RQ2 由于更大的马尔可夫毯，辅助形式是否能提升HMC采样中的混合速度？
• RQ3 该方法在如MNIST上训练的多层隐变量深度生成模型上的表现如何？
• RQ4 辅助形式是否能在保持模型等价性的同时，提升动态贝叶斯网络中的优化速度？
• RQ5 该辅助变换对高维、非线性模型中收敛速度和数据似然的影响如何？

主要发现

• 在MNIST和动态贝叶斯网络实验中，MAP推理在辅助形式下的收敛速度比原始形式快约10倍。
• 由于更大的马尔可夫毯，辅助形式显著提升了HMC采样中的混合速度，改善了梯度流动。
• 三层生成模型的数据似然并未优于两层模型，表明尽管推理速度提升，但深度增加带来的收益递减。
• HMC中实现了约50%的接受率，表明采样性能稳定可靠。
• 该变换适用于具有可微可逆CDF或其近似的模型，且该方法在复杂、深层隐变量架构中具有良好的泛化能力。
• 实证结果证实了理论预期，显示在监督学习和序列建模任务中均实现了稳定的加速效果。