[论文解读] Hybrid Bayesian Networks with Linear Deterministic Variables

Barry R. Cobb, Prakash P. Shenoy|arXiv (Cornell University)|Jul 4, 2012

Bayesian Modeling and Causal Inference参考文献 9被引用 14

一句话总结

本文提出了一种在包含连续父节点的线性确定性变量的混合贝叶斯网络中执行精确推理的方法，即使连续变量非高斯分布亦可适用。通过使用截断指数分布的混合模型来近似非高斯密度，该方法无需假设多元正态性，也无需限制网络中连续与离散节点的排列位置。

ABSTRACT

When a hybrid Bayesian network has conditionally deterministic variables with continuous parents, the joint density function for the continuous variables does not exist. Conditional linear Gaussian distributions can handle such cases when the continuous variables have a multi-variate normal distribution and the discrete variables do not have continuous parents. In this paper, operations required for performing inference with conditionally deterministic variables in hybrid Bayesian networks are developed. These methods allow inference in networks with deterministic variables where continuous variables may be non-Gaussian, and their density functions can be approximated by mixtures of truncated exponentials. There are no constraints on the placement of continuous and discrete nodes in the network.

研究动机与目标

• 解决在连续变量给定连续父节点时为条件确定性关系的混合贝叶斯网络中执行推理的挑战。
• 将现有方法扩展至超越条件线性高斯（CLG）假设的范围，后者要求多元正态性且限制离散节点不能拥有连续父节点。
• 通过使用截断指数分布的混合模型近似其密度，开发支持非高斯连续变量的推理操作。
• 允许连续与离散节点在网络中自由排列，消除先前方法中存在的结构限制。
• 在存在线性确定性关系的混合网络中实现精确推理，即使由于确定性导致连续变量的联合密度不存在。

提出的方法

• 该方法使用截断指数分布的混合模型（MTE）来表示非高斯密度，以建模连续变量的条件分布。
• 通过将MTE近似整合到联结树算法中，将标准的基于势函数的推理框架扩展至处理确定性条件分布。
• 通过在条件分布中显式建模函数依赖关系，支持变量之间的线性确定性关系。
• 使用改进的联结树算法执行推理，该算法同时考虑离散与连续变量，包括确定性节点。
• 该框架支持离散与连续势函数的组合，其中连续势函数以MTE混合模型表示，从而实现精确的边缘化与条件化操作。
• 该方法不要求连续变量服从多元正态分布，因此放宽了条件线性高斯（CLG）模型中的一个关键限制。

实验结果

研究问题

• RQ1 当连续变量的联合密度不存在时，如何在包含连续父节点的线性确定性变量的混合贝叶斯网络中实现精确推理？
• RQ2 非高斯连续变量能否在具有确定性关系的混合贝叶斯网络中被有效建模？
• RQ3 哪些推理算法能够支持离散与连续变量（包括确定性变量）且无需假设多元正态性？
• RQ4 是否可以构建一种灵活的网络结构，使得连续与离散节点可自由互换，即使连续节点拥有离散父节点？
• RQ5 在贝叶斯网络推理的背景下，如何使用截断指数分布的混合模型来近似复杂且非高斯的连续分布？

主要发现

• 所提出的方法即使在连续变量为非高斯分布时，也能在包含线性确定性变量的混合贝叶斯网络中实现精确推理。
• 通过使用截断指数分布的混合模型（MTE），该方法以高精度近似非高斯连续密度，从而在无需假设多元正态性的情况下实现精确推理。
• 该方法消除了离散节点不能拥有连续父节点的限制，这是条件线性高斯（CLG）模型的一个局限。
• 该框架支持任意网络结构，允许在全网络中灵活地安排连续与离散节点。
• 该方法成功处理了由于确定性依赖关系导致连续变量联合密度不存在的情况，这类情况在现实世界建模中十分常见。
• 该方法将混合贝叶斯网络的适用范围扩展至包含确定性关系与非高斯连续变量的更广泛问题类别。