[论文解读] Lazy Propagation in Junction Trees

Anders L. Madsen, Finn V. Jensen|arXiv (Cornell University)|Jan 30, 2013

Bayesian Modeling and Causal Inference参考文献 9被引用 55

一句话总结

本文提出了一种贝叶斯网络中联结树的懒惰传播算法，该算法在消息传递过程中动态确定需要相乘的条件概率势函数，利用证据引起的独立性与网络结构引起的独立性。通过延迟并选择性地计算因子乘积，该方法显著降低了时间和空间复杂度，在大规模真实世界网络上优于传统的HUGIN和Shafer-Shenoy算法。

ABSTRACT

The efficiency of algorithms using secondary structures for probabilistic inference in Bayesian networks can be improved by exploiting independence relations induced by evidence and the direction of the links in the original network. In this paper we present an algorithm that on-line exploits independence relations induced by evidence and the direction of the links in the original network to reduce both time and space costs. Instead of multiplying the conditional probability distributions for the various cliques, we determine on-line which potentials to multiply when a message is to be produced. The performance improvement of the algorithm is emphasized through empirical evaluations involving large real world Bayesian networks, and we compare the method with the HUGIN and Shafer-Shenoy inference algorithms.

研究动机与目标

• 使用联结树算法降低贝叶斯网络中概率推理的计算成本。
• 利用原始网络中证据和有向链接引起的条件独立性，优化消息传递过程。
• 开发一种在线方法，仅在需要时确定应相乘的势函数，避免冗余计算。
• 与现有的联结树推理算法（如HUGIN和Shafer-Shenoy）相比，提升时间和空间效率。
• 在大规模真实世界贝叶斯网络上对方法进行实证验证。

提出的方法

• 该算法将条件概率分布的相乘操作推迟到实际需要传播消息时才进行。
• 它利用证据和链接方向信息，识别并利用网络中的条件独立关系。
• 该方法在在线状态下确定为计算消息必须相乘的团的势函数，避免完全计算乘积。
• 它维护势函数的懒惰表示，在消息传递过程中仅在必要时进行更新。
• 该方法通过修改消息传递协议以包含动态势函数选择，与标准联结树推理集成。
• 该算法设计为与现有联结树框架兼容，同时提升效率。

实验结果

研究问题

• RQ1 如何通过利用条件独立性来降低联结树推理的时间和空间复杂度？
• RQ2 在消息传递过程中动态选择势函数是否能带来显著的性能提升？
• RQ3 与HUGIN和Shafer-Shenoy等成熟算法相比，懒惰传播方法在效率方面表现如何？
• RQ4 证据引起的独立性和结构引起的独立性对推理性能有何影响？
• RQ5 该方法在大规模真实世界贝叶斯网络中是否具有良好的可扩展性？

主要发现

• 与传统的联结树方法相比，该懒惰传播算法在时间和空间复杂度上均实现了显著降低。
• 在大规模真实世界贝叶斯网络上的实证评估显示，该方法在性能上明显优于HUGIN和Shafer-Shenoy算法。
• 该方法有效利用了证据引起的和结构引起的独立性，避免了对条件概率势函数的无谓相乘。
• 通过延迟并选择性地计算因子乘积，该算法减少了消息传递过程中所需的运算次数。
• 在证据密度高且条件依赖关系复杂的网络中，性能提升尤为显著。
• 该方法在保持正确性的同时，为大规模贝叶斯网络提供了可扩展的推理能力。