[论文解读] Exact Inference in Networks with Discrete Children of Continuous Parents

Uri Lerner, Eran Segal+1 more|arXiv (Cornell University)|Jan 10, 2013

Bayesian Modeling and Causal Inference参考文献 15被引用 66

一句话总结

该论文提出了首个针对离散节点依赖于连续父节点的混合贝叶斯网络的精确推理算法，将Lauritzen的团树算法扩展至处理条件线性高斯模型，其中离散节点依赖于连续父节点。该方法通过数值积分计算离散变量的精确分布以及连续变量的一阶和二阶矩，相较于先前的近似方法具有更高的准确性，尤其在使用softmax CPD时表现更优。

ABSTRACT

Many real life domains contain a mixture of discrete and continuous variables and can be modeled as hybrid Bayesian Networks. Animportant subclass of hybrid BNs are conditional linear Gaussian (CLG) networks, where the conditional distribution of the continuous variables given an assignment to the discrete variables is a multivariate Gaussian. Lauritzen's extension to the clique tree algorithm can be used for exact inference in CLG networks. However, many domains also include discrete variables that depend on continuous ones, and CLG networks do not allow such dependencies to berepresented. No exact inference algorithm has been proposed for these enhanced CLG networks. In this paper, we generalize Lauritzen's algorithm, providing the first "exact" inference algorithm for augmented CLG networks - networks where continuous nodes are conditional linear Gaussians but that also allow discrete children ofcontinuous parents. Our algorithm is exact in the sense that it computes the exact distributions over the discrete nodes, and the exact first and second moments of the continuous ones, up to the accuracy obtained by numerical integration used within thealgorithm. When the discrete children are modeled with softmax CPDs (as is the case in many real world domains) the approximation of the continuous distributions using the first two moments is particularly accurate. Our algorithm is simple to implement and often comparable in its complexity to Lauritzen's algorithm. We show empirically that it achieves substantially higher accuracy than previous approximate algorithms.

研究动机与目标

• 解决在离散变量依赖于连续父节点的混合贝叶斯网络中缺乏精确推理算法的问题。
• 将Lauritzen的团树算法扩展至支持离散节点依赖于连续父节点的条件线性高斯模型。
• 实现在此类网络中对离散节点的分布和连续节点的矩的精确计算。
• 在具有softmax CPD的真实世界场景中，提升相对于现有近似推理方法的准确性。

提出的方法

• 将Lauritzen的团树算法扩展至处理离散节点依赖于连续父节点的混合条件线性高斯网络。
• 利用数值积分计算在给定连续父节点条件下，离散节点的精确条件分布。
• 通过基于积分的边缘化方法，保持连续变量的一阶和二阶矩的精确性。
• 采用一种保持网络中条件独立结构的因子分解策略。
• 支持用于离散节点的softmax CPD，此类CPD在真实世界应用中常见。
• 在团树框架内集成数值求积方法，以维持计算的可处理性。

实验结果

研究问题

• RQ1 是否可以在离散节点具有连续父节点的混合贝叶斯网络中实现精确推理？
• RQ2 如何修改团树算法以支持离散节点依赖于连续父节点的结构，同时保持精确性？
• RQ3 数值积分的精度对这类网络中推理质量的影响如何？
• RQ4 与现有近似推理技术相比，所提方法在准确性上表现如何？
• RQ5 使用softmax CPD在多大程度上提升了连续分布近似的质量？

主要发现

• 所提算法在具有离散节点依赖于连续父节点的混合贝叶斯网络中，相较于先前的近似推理方法，显著提升了准确性。
• 通过在团树框架内结合数值积分，离散节点分布和连续节点矩的精确计算是可行的。
• 该方法保持了与Lauritzen原始算法相当的计算复杂度，使其在真实世界应用中具有实用性。
• 当使用softmax CPD时，利用一阶和二阶矩对连续分布的近似特别精确。
• 实验结果表明，该算法在分布准确性方面优于现有的近似方法。