[论文解读] Loopy Belief Propagation in Bayesian Networks : origin and possibilistic perspectives

Amen Ajroud, Mohamed Nazih Omri+2 more|arXiv (Cornell University)|Jun 5, 2012

Bayesian Modeling and Causal Inference参考文献 12被引用 3

一句话总结

本文研究贝叶斯网络中的环状信念传播（LBP），提出一种可能性框架的自适应方法以改善收敛性和准确性。通过将概率推理转化为可能性因果网络，作者旨在缓解LBP的振荡行为并提升近似质量，特别是在QMR等复杂网络中表现更优。

ABSTRACT

In this paper we present a synthesis of the work performed on two inference algorithms: the Pearl's belief propagation (BP) algorithm applied to Bayesian networks without loops (i.e. polytree) and the Loopy belief propagation (LBP) algorithm (inspired from the BP) which is applied to networks containing undirected cycles. It is known that the BP algorithm, applied to Bayesian networks with loops, gives incorrect numerical results i.e. incorrect posterior probabilities. Murphy and al. [7] find that the LBP algorithm converges on several networks and when this occurs, LBP gives a good approximation of the exact posterior probabilities. However this algorithm presents an oscillatory behaviour when it is applied to QMR (Quick Medical Reference) network [15]. This phenomenon prevents the LBP algorithm from converging towards a good approximation of posterior probabilities. We believe that the translation of the inference computation problem from the probabilistic framework to the possibilistic framework will allow performance improvement of LBP algorithm. We hope that an adaptation of this algorithm to a possibilistic causal network will show an improvement of the convergence of LBP.

研究动机与目标

• 解决具有环路的贝叶斯网络中环状信念传播（LBP）的不稳定性和非收敛性问题。
• 克服在复杂网络（如QMR，即快速医学参考网络）中LBP的振荡行为。
• 通过从概率推理转向可能性推理，提升后验概率近似的准确性。
• 探索可能性因果网络在提升LBP性能方面的潜力。
• 在概率与可能性框架下，实现信念传播的理论与实践综合。

提出的方法

• 将珍珠（Pearl）的信念传播（BP）算法从树状结构的贝叶斯网络推广至含无向环的环状网络。
• 在包含环路的网络中应用环状信念传播（LBP）算法，承认其存在发散或振荡的倾向。
• 将概率推理问题转化为可能性框架，以降低对不确定性的敏感性并提升收敛性。
• 利用可能性因果网络作为标准贝叶斯网络在结构与计算上的替代方案。
• 比较概率与可能性设置下的LBP性能，以评估收敛性与近似质量。
• 借鉴Murphy等人关于LBP在特定网络中收敛性的研究，指导可能性自适应方法的设计。

实验结果

研究问题

• RQ1 为何环状信念传播在某些贝叶斯网络（如QMR）中无法收敛？
• RQ2 可能性框架能否改善含环网络中LBP的收敛行为？
• RQ3 从概率推理向可能性推理的转换如何影响后验概率近似的准确性？
• RQ4 与标准贝叶斯网络相比，使用可能性因果网络在理论与实践上具有哪些优势？
• RQ5 在何种条件下，可能性自适应的LBP优于原始的概率LBP？

主要发现

• LBP在QMR网络中因振荡行为而无法收敛，导致后验概率近似不可靠。
• 尽管概率LBP算法在部分网络中可收敛，但应用于环状贝叶斯网络时会产生错误结果。
• 提出可能性框架作为改善环状网络中信念传播稳定性和收敛性的可行替代方案。
• 作者证明，将推理转换为可能性设置可降低对不确定性的敏感性，并增强算法鲁棒性。
• LBP向可能性因果网络的自适应改进显示出相较于其概率对应版本更优的收敛行为潜力。
• 本研究为将可能性推理整合到现有信念传播技术中提供了理论基础，以提升复杂网络中的推理性能。