[论文解读] Inference in Hybrid Bayesian Networks Using Mixtures of Gaussians

Prakash P. Shenoy|arXiv (Cornell University)|Jun 27, 2012

Bayesian Modeling and Causal Inference参考文献 17被引用 9

一句话总结

本文提出了一种在一般混合贝叶斯网络（即同时包含离散与连续变量的网络）中进行精确推理的方法，通过将网络近似为高斯混合模型（MoG）实现。利用一种变换技术，该方法使原本仅适用于MoG网络的快速Lauritzen-Jensen算法，能够应用于更广泛的混合网络，包括具有非高斯连续变量、非线性依赖关系以及条件方差的网络。

ABSTRACT

The main goal of this paper is to describe a method for exact inference in general hybrid Bayesian networks (BNs) (with a mixture of discrete and continuous chance variables). Our method consists of approximating general hybrid Bayesian networks by a mixture of Gaussians (MoG) BNs. There exists a fast algorithm by Lauritzen-Jensen (LJ) for making exact inferences in MoG Bayesian networks, and there exists a commercial implementation of this algorithm. However, this algorithm can only be used for MoG BNs. Some limitations of such networks are as follows. All continuous chance variables must have conditional linear Gaussian distributions, and discrete chance nodes cannot have continuous parents. The methods described in this paper will enable us to use the LJ algorithm for a bigger class of hybrid Bayesian networks. This includes networks with continuous chance nodes with non-Gaussian distributions, networks with no restrictions on the topology of discrete and continuous variables, networks with conditionally deterministic variables that are a nonlinear function of their continuous parents, and networks with continuous chance variables whose variances are functions of their parents.

研究动机与目标

• 解决现有精确推理方法在混合贝叶斯网络中对连续变量仅限于线性高斯分布的局限性。
• 实现在具有非高斯连续变量、非线性条件依赖关系及条件方差的网络中的精确推理。
• 克服标准MoG网络中离散节点不能拥有连续父节点的限制。
• 将计算效率高但原本仅适用于MoG结构的Lauritzen-Jensen算法，扩展到更一般的混合网络拓扑结构。
• 为在更广泛的实际混合贝叶斯网络中使用商业版LJ算法实现提供实用框架。

提出的方法

• 通过高斯混合模型（MoG）表示对一般混合贝叶斯网络进行近似，以支持精确推理。
• 通过变量变换和条件密度近似，将原始混合网络转换为等价的MoG网络。
• 在所得MoG网络中利用Lauritzen-Jensen（LJ）算法进行精确推理，充分发挥其计算效率优势。
• 通过使用高斯分量的混合来近似非高斯连续变量的条件分布，以处理此类变量。
• 通过将条件确定性变量建模为连续父节点的非线性函数，并将其整合到MoG近似框架中。
• 通过将方差依赖于父节点的连续变量的依赖关系嵌入MoG结构中，实现此类变量的建模。

实验结果

研究问题

• RQ1 能否利用现有高效算法在具有非高斯连续变量的混合贝叶斯网络中实现精确推理？
• RQ2 如何将Lauritzen-Jensen算法扩展到连续变量之间存在非线性依赖关系的网络？
• RQ3 何种变换技术可使具有连续父节点的离散节点在MoG推理框架中得以处理？
• RQ4 在MoG近似中，对依赖于父变量的条件方差可建模到何种程度？
• RQ5 能否对一般混合贝叶斯网络进行准确且高效的MoG近似，以实现精确推理？

主要发现

• 所提出的方法使精确推理在传统MoG网络范围之外的混合贝叶斯网络中成为可能。
• 该方法通过使用高斯分量的混合来近似非高斯条件分布，成功处理了具有非高斯条件分布的连续变量。
• 通过MoG近似框架，非线性条件依赖关系被有效建模。
• 该方法允许离散节点拥有连续父节点，这在标准MoG网络中是不被支持的。
• 可将方差为父节点函数的连续变量整合到MoG结构中，同时保持模型保真度。
• 在变换后的MoG网络上使用Lauritzen-Jensen算法，确保了计算效率和精确推理结果。