[论文解读] A Hybrid Algorithm to Compute Marginal and Joint Beliefs in Bayesian Networks and Its Complexity

Mark Bloemeke, Marco Valtorta|arXiv (Cornell University)|Jan 30, 2013

Bayesian Modeling and Causal Inference参考文献 10被引用 14

一句话总结

本文提出一种混合算法，通过结合非串行动态规划与团树结构，高效计算贝叶斯网络中的边缘信念和联合信念。该方法通过避免冗余的NP难步骤，降低了计算复杂度，确认了最优查找问题（OFP）的NP难性，并验证了Jensen和Jensen关于仅需一次NP难预处理阶段的猜想。

ABSTRACT

There exist two general forms of exact algorithms for updating probabilities in Bayesian Networks. The first approach involves using a structure, usually a clique tree, and performing local message based calculation to extract the belief in each variable. The second general class of algorithm involves the use of non-serial dynamic programming techniques to extract the belief in some desired group of variables. In this paper we present a hybrid algorithm based on the latter approach yet possessing the ability to retrieve the belief in all single variables. The technique is advantageous in that it saves a NP-hard computation step over using one algorithm of each type. Furthermore, this technique re-enforces a conjecture of Jensen and Jensen [JJ94] in that it still requires a single NP-hard step to set up the structure on which inference is performed, as we show by confirming Li and D'Ambrosio's [LD94] conjectured NP-hardness of OFP.

研究动机与目标

• 开发一种统一算法，比单独方法更高效地计算贝叶斯网络中的边缘信念和联合信念。
• 通过避免多次NP难操作，减少推理的计算开销。
• 验证Jensen和Jensen的猜想，即仅需一次NP难步骤即可完成推理结构的设置。
• 确认最优查找问题（OFP）的NP难性，与Li和D'Ambrosio的猜想一致。
• 将非串行动态规划与团树技术相结合，以提升推理性能。

提出的方法

• 该算法结合非串行动态规划技术与团树结构，以计算信念。
• 它使用一次NP难的预处理步骤，构建支持高效信念计算的结构。
• 该方法可提取所有单个变量的信念，以及选定变量集合的联合信念。
• 它利用非串行动态规划在联合信念计算中的高效性，同时保持获取单变量边缘分布的能力。
• 该算法通过保持相同的理论保证，确保与现有精确推理方法的一致性。
• 它确认了最优查找问题（OFP）的NP难性，与文献中的先前猜想一致。

实验结果

研究问题

• RQ1 能否通过单一算法高效计算贝叶斯网络中的边缘信念和联合信念，而无需重复NP难计算？
• RQ2 是否可以将非串行动态规划与团树方法统一为一种混合推理框架？
• RQ3 该算法是否仅需一次NP难步骤进行结构设置，如Jensen和Jensen所猜想？
• RQ4 最优查找问题（OFP）的计算复杂度是多少，是否如先前猜想为NP难？
• RQ5 与分别使用算法计算边缘信念和联合信念相比，该混合方法能否降低整体推理成本？

主要发现

• 该混合算法成功地仅通过一次NP难预处理步骤，即计算了边缘信念和联合信念。
• 该方法通过复用同一推理结构支持多个信念查询，避免了冗余的NP难操作。
• 本文确认了最优查找问题（OFP）的NP难性，支持Li和D'Ambrosio的猜想。
• 该算法验证了Jensen和Jensen的猜想，即仅需一次NP难步骤即可完成推理结构的设置。
• 该方法在保持理论正确性的同时，相较于传统独立算法方法，提升了计算效率。
• 该混合方法提供了一个统一框架，整合了非串行动态规划与基于团树的推理的优势。