[论文解读] A General Algorithm for Approximate Inference and its Application to Hybrid Bayes Nets

Daphne Koller, Uri Lerner+1 more|arXiv (Cornell University)|Jan 23, 2013

Bayesian Modeling and Causal Inference参考文献 17被引用 118

一句话总结

本文通过将统计重要性采样整合到团树传播算法中，提出了一种统一的贝叶斯网络近似推理框架，实现了混合贝叶斯网络中高效且可扩展的推理。该方法通过迭代优化提升估计精度，提供了一种通用解决方案，涵盖了多种现有的近似推理方法。

ABSTRACT

The clique tree algorithm is the standard method for doing inference in Bayesian networks. It works by manipulating clique potentials - distributions over the variables in a clique. While this approach works well for many networks, it is limited by the need to maintain an exact representation of the clique potentials. This paper presents a new unified approach that combines approximate inference and the clique tree algorithm, thereby circumventing this limitation. Many known approximate inference algorithms can be viewed as instances of this approach. The algorithm essentially does clique tree propagation, using approximate inference to estimate the densities in each clique. In many settings, the computation of the approximate clique potential can be done easily using statistical importance sampling. Iterations are used to gradually improve the quality of the estimation.

研究动机与目标

• 为解决由于维护精确团势函数所带来的计算负担，克服精确推理在贝叶斯网络中的局限性。
• 开发一种通用框架，将多种近似推理技术统一于单一算法结构之下。
• 通过使用采样方法近似团势函数，实现在混合贝叶斯网络（即同时包含离散与连续变量的网络）中的高效推理。
• 通过迭代优化团势函数估计值，提升近似推理的精度。
• 在真实世界与合成的混合贝叶斯网络问题上，验证该方法的有效性。

提出的方法

• 该算法通过用基于统计重要性采样的近似估计替代标准团树传播中的精确团势函数计算，扩展了标准团树传播方法。
• 每个团的势函数通过从提议分布中抽取的一组加权样本进行估计，从而减少对精确解析计算的需求。
• 通过迭代更新提议分布和样本权重，随时间推移逐步提高团势函数近似值的准确性。
• 该方法通过在团内采用基于采样的密度估计方法，支持对连续变量的处理，从而适用于混合贝叶斯网络。
• 该框架具有通用性，通过选择适当的提议分布，可实例化为多种已知的近似推理算法，如期望传播（EP）和基于采样的方法。
• 团树传播作为底层结构得以保留，确保了推理过程的一致性与模块化。

实验结果

研究问题

• RQ1 如何系统性地将采样与团树传播相结合，构建一个统一的近似推理框架？
• RQ2 对基于采样的团势函数估计值进行迭代优化，是否能提升混合贝叶斯网络中的推理精度？
• RQ3 该方法在多大程度上能泛化已有的近似推理算法（如EP或似然加权法）？
• RQ4 该方法在大规模或复杂混合贝叶斯网络上的计算效率与可扩展性如何？
• RQ5 提议分布的选择在多大程度上影响推理过程的收敛性与准确性？

主要发现

• 与基线近似方法相比，所提出的算法在包含连续变量的复杂混合网络中显著提升了推理精度。
• 对提议分布的迭代优化可加快收敛速度，并在后续迭代中获得更精确的团势函数估计值。
• 该框架成功将已知的近似推理技术（如期望传播和似然加权法）作为特例包含在内。
• 实验结果表明，该方法在网络规模增大时仍能保持良好的可扩展性，即使在中等规模的混合贝叶斯网络中也维持了合理的运行时间。
• 采用重要性采样可高效估计团内高维连续分布，避免了精确积分的需要。
• 该算法在多种基准网络中表现出稳健性能，包括具有混合离散-连续条件分布的网络。