[论文解读] An empirical evaluation of possible variations of lazy propagation

Anders L. Madsen|arXiv (Cornell University)|Jul 7, 2004

Bayesian Modeling and Causal Inference参考文献 19被引用 20

一句话总结

本文评估了不同消息计算算法——变量消去（VE）、符号概率推理（SPI）和弧反转（AR）——对贝叶斯网络中延迟传播性能的影响。结果表明，尽管在大多数网络中VE、SPI和AR的性能相近，但在特定随机生成的网络中，AR在降低空间和时间复杂度方面优于其他算法。

ABSTRACT

As real-world Bayesian networks continue to grow larger and more complex, it is important to investigate the possibilities for improving the performance of existing algorithms of probabilistic inference. Motivated by examples, we investigate the dependency of the performance of Lazy propagation on the message computation algorithm.We show how Symbolic Probabilistic Inference (SPI) and Arc-Reversal (AR) can be used for computation of clique to clique messages in the addition to the traditional use of Variable Elimination (VE).In addition, the paper presents the results of an empirical evaluation of the performance of Lazy propagation using VE, SPI, and AR as the message computation algorithm. The results of the empirical evaluation show that for most networks, the performance of inference did not depend on the choice of message computation algorithm, but for some randomly generated networks the choice had an impact on both space and time performance. In the cases where the choice had an impact, AR produced the best results.

研究动机与目标

• 研究不同消息计算算法对贝叶斯网络中延迟传播性能的影响。
• 评估使用符号概率推理（SPI）和弧反转（AR）作为传统变量消去（VE）在团到团消息计算中的替代方案的可行性和效率。
• 确定消息计算算法的选择是否显著影响真实世界和合成贝叶斯网络中的推理时间和内存使用量。

提出的方法

• 本研究在团到团消息传递中实现延迟传播，并采用VE、SPI和AR作为消息计算算法。
• SPI通过符号方式计算消息，仅在必要时才进行数值计算。
• AR通过反转网络弧线来简化消息计算，尤其适用于密集或具有复杂条件独立性结构的网络。
• 在多样化的贝叶斯网络（包括真实世界和随机生成的实例）上评估每种变体的性能。
• 通过测量运行时间和内存使用量，评估不同网络结构下的时间效率和空间效率。

实验结果

研究问题

• RQ1 消息计算算法的选择（VE、SPI、AR）是否显著影响贝叶斯网络中延迟传播的时间和空间性能？
• RQ2 SPI和AR在团树中的消息计算效率方面与VE相比如何？
• RQ3 是否存在AR或SPI在时间和内存使用量上均优于VE的特定网络结构？
• RQ4 网络特征（如规模、连通性、条件独立性）在多大程度上影响不同消息计算算法之间的性能差异？
• RQ5 在哪些类型的贝叶斯网络中，消息计算算法的选择会对推理性能产生可测量的影响？

主要发现

• 在大多数贝叶斯网络中，消息计算算法的选择（VE、SPI或AR）对推理性能的时间和空间复杂度影响甚微。
• 在部分随机生成的网络中，算法选择显著影响了运行时间和内存使用量。
• 当观察到性能差异时，弧反转（AR）在减少时间和空间消耗方面始终表现最佳。
• 符号概率推理（SPI）在大多数情况下表现与VE相当，但在任何测试场景中均未超越AR。
• 在具有复杂条件独立性结构的网络中，性能影响更为显著，表明AR在处理此类情况时具有优势。