[论文解读] Expectation Propagation for approximate Bayesian inference

Thomas P. Minka|arXiv (Cornell University)|Jan 10, 2013

Bayesian Modeling and Causal Inference参考文献 15被引用 1,457

一句话总结

本文提出期望传播（Expectation Propagation, EP），一种在贝叶斯网络中用于确定性近似推理的方法，统一并扩展了诸如Loopy信念传播和假设密度滤波等技术。通过迭代地利用充分统计量（例如均值和方差）来优化近似后验信念，EP在计算成本相近的情况下，相较于拉普拉斯方法、变分贝叶斯和蒙特卡洛方法，表现出更优的精度，尤其在混合模型和相关变量模型中表现突出。

ABSTRACT

This paper presents a new deterministic approximation technique in Bayesian networks. This method, "Expectation Propagation", unifies two previous techniques: assumed-density filtering, an extension of the Kalman filter, and loopy belief propagation, an extension of belief propagation in Bayesian networks. All three algorithms try to recover an approximate distribution which is close in KL divergence to the true distribution. Loopy belief propagation, because it propagates exact belief states, is useful for a limited class of belief networks, such as those which are purely discrete. Expectation Propagation approximates the belief states by only retaining certain expectations, such as mean and variance, and iterates until these expectations are consistent throughout the network. This makes it applicable to hybrid networks with discrete and continuous nodes. Expectation Propagation also extends belief propagation in the opposite direction - it can propagate richer belief states that incorporate correlations between nodes. Experiments with Gaussian mixture models show Expectation Propagation to be convincingly better than methods with similar computational cost: Laplace's method, variational Bayes, and Monte Carlo. Expectation Propagation also provides an efficient algorithm for training Bayes point machine classifiers.

研究动机与目标

• 开发一种统一的、确定性的近似推理技术，用于图形模型中的贝叶斯推理。
• 将信念传播扩展至处理具有相关变量的连续型与混合型网络。
• 在计算成本相近的前提下，提升对现有低成本方法（如拉普拉斯方法和变分贝叶斯）的精度。
• 为贝叶斯点机器分类器的训练提供一种高效算法。
• 在精确推理不可行的模型中实现高效的近似推理。

提出的方法

• EP通过迭代优化一组可处理的、可分解的近似分布，来逼近真实的后验分布。
• 它利用矩匹配方法，使近似因子的充分统计量（例如均值和方差）与真实后验的充分统计量对齐。
• 该算法在因子图中执行消息传递，基于局部证据和全局一致性来更新近似因子。
• EP可同时处理离散与连续节点，适用于混合型贝叶斯网络。
• 它传播更丰富的信念状态，能够捕捉变量之间的相关性，这与标准信念传播不同。
• 该方法通过迭代优化，最小化近似后验与真实后验之间的KL散度。

实验结果

研究问题

• RQ1 是否存在一种确定性近似方法，能够统一并超越诸如Loopy信念传播和变分推理等现有技术？
• RQ2 如何将近似推理扩展至同时包含离散与连续变量的混合型贝叶斯网络？
• RQ3 EP是否能在保持相近计算成本的前提下，实现比拉普拉斯方法和变分贝叶斯更高的精度？
• RQ4 与标准信念传播相比，EP在建模相关变量方面表现如何？
• RQ5 EP能否被高效地应用于现实世界的学习任务，例如贝叶斯点机器的训练？

主要发现

• 在高斯混合模型中，EP在近似精度方面显著优于拉普拉斯方法、变分贝叶斯和蒙特卡洛方法。
• EP在计算复杂度相近的情况下实现了更优的预测性能，展现出其高效性。
• EP成功处理了混合型贝叶斯网络，将信念传播的适用范围从纯离散模型扩展至更广泛的应用场景。
• 通过保留高阶矩和相关性信息，EP提供的后验近似比均场方法更为精确。
• EP实现了贝叶斯点机器分类器的高效训练，展示了其在机器学习应用中的实际价值。
• 实证结果证实，EP在全网络范围内收敛至一致的充分统计量，验证了其迭代优化过程的有效性。