[论文解读] Mixture Representations for Inference and Learning in Boltzmann Machines

Neil D. Lawrence, Chris Bishop+1 more|arXiv (Cornell University)|Jan 30, 2013

Neural Networks and Applications参考文献 7被引用 17

一句话总结

本文提出使用混合表示方法，通过更准确地建模多模态分布，以克服玻尔兹曼机中平均场近似方法的局限性。通过采用基于混合因子分解分布的变分推断，该方法在推断和学习性能方面均得到提升，与传统方法相比，展现出更优的收敛性与复杂数据分布的表征能力。

ABSTRACT

Boltzmann machines are undirected graphical models with two-state stochastic variables, in which the logarithms of the clique potentials are quadratic functions of the node states. They have been widely studied in the neural computing literature, although their practical applicability has been limited by the difficulty of finding an effective learning algorithm. One well-established approach, known as mean field theory, represents the stochastic distribution using a factorized approximation. However, the corresponding learning algorithm often fails to find a good solution. We conjecture that this is due to the implicit uni-modality of the mean field approximation which is therefore unable to capture multi-modality in the true distribution. In this paper we use variational methods to approximate the stochastic distribution using multi-modal mixtures of factorized distributions. We present results for both inference and learning to demonstrate the effectiveness of this approach.

研究动机与目标

• 为解决由于平均场学习无法捕捉多模态分布而导致玻尔兹曼机性能欠佳的问题。
• 开发一种更具灵活性的变分推断框架，以表征复杂、多模态的后验分布。
• 通过用此类近似的混合代替单一模态的因子分解近似，提升玻尔兹曼机中的学习与推断性能。
• 展示基于混合的变分推断在推断与参数学习任务中的有效性。

提出的方法

• 该方法使用一种变分近似，将真实后验表示为因子分解分布的混合，从而实现对多模态性的捕捉。
• 通过变分推断优化混合成分及其混合权重的参数。
• 该方法利用玻尔兹曼机的结构，其中团簇势函数为节点状态的二次函数。
• 在混合近似下，通过证据下界（ELBO）最大化推导出学习算法。
• 混合成分是因子分解的，从而在优化过程中可高效计算期望值。
• 该方法被应用于玻尔兹曼机中的推断（后验近似）与学习（参数估计）任务。

实验结果

研究问题

• RQ1 与平均场方法相比，基于混合的变分近似是否能提升玻尔兹曼机中的推断性能？
• RQ2 使用多模态近似是否能带来更好的玻尔兹曼机参数学习效果？
• RQ3 该混合表示在捕捉复杂、多模态数据分布方面表现如何？
• RQ4 用混合近似替代单一因子分解近似，对学习收敛性与准确率有何影响？

主要发现

• 混合表示显著提升了后验近似的质量，能够捕捉平均场方法所缺失的多模态结构。
• 所提方法在收敛性与变分自由能方面优于标准的平均场学习方法。
• 实验结果表明，基于混合的方法在建模具有多个模式的复杂数据分布方面优于平均场方法。
• 该方法在真实后验为多模态的情况下，能实现更精确的推断与参数学习。