[论文解读] Mix-nets: Factored Mixtures of Gaussians in Bayesian Networks With Mixed Continuous And Discrete Variables

Scott Davies, Andrew Moore|arXiv (Cornell University)|Jan 16, 2013

Bayesian Modeling and Causal Inference参考文献 34被引用 29

一句话总结

本文提出混和网络（mix-nets），一种贝叶斯网络框架，通过使用高斯混合模型的因子分解形式对连续与离散变量进行建模，实现无需离散化连续变量的高效学习与推理。通过条件化方式组合快速、低维的高斯混合模型，混和网络实现了精确的联合密度估计，并在真实与合成的科学数据集上表现出色。

ABSTRACT

Recently developed techniques have made it possible to quickly learn accurate probability density functions from data in low-dimensional continuous space. In particular, mixtures of Gaussians can be fitted to data very quickly using an accelerated EM algorithm that employs multiresolution kd-trees (Moore, 1999). In this paper, we propose a kind of Bayesian networks in which low-dimensional mixtures of Gaussians over different subsets of the domain's variables are combined into a coherent joint probability model over the entire domain. The network is also capable of modeling complex dependencies between discrete variables and continuous variables without requiring discretization of the continuous variables. We present efficient heuristic algorithms for automatically learning these networks from data, and perform comparative experiments illustrated how well these networks model real scientific data and synthetic data. We also briefly discuss some possible improvements to the networks, as well as possible applications.

研究动机与目标

• 开发一种可扩展的方法，用于学习包含连续与离散变量的贝叶斯网络。
• 实现在不离散化连续变量的前提下，对联合概率进行精确建模。
• 利用快速的高斯混合学习算法，实现在高维领域中高效进行结构与参数学习。
• 通过因子分解混合模型的条件化，支持连续与离散变量之间的复杂依赖关系。
• 在包含数十个变量的真实科学与合成数据集上，证明混和网络的可行性与有效性。

提出的方法

• 提出一种贝叶斯网络结构，其中每个节点的条件分布均基于该节点及其父节点的因子分解高斯混合模型推导得出。
• 使用加速的期望最大化算法（EM）结合多分辨率k-d树，从数据中快速学习低维高斯混合模型。
• 采用条件化方法：P(Xi|πi) = P(Xi,πi)/P(πi)，其中P(Xi,πi)为学习到的混合模型，P(πi)为其边缘分布，从而实现一致的全局建模。
• 通过高斯混合模型处理连续变量，其易于进行边缘化与条件重参数化。
• 通过查表法或对混合模型的潜在扩展，处理离散变量，实现对离散与连续变量的联合建模。
• 采用启发式结构学习算法，自动从数据中构建网络结构，避免穷举搜索。

实验结果

研究问题

• RQ1 能否将因子分解的高斯混合模型有效组合成适用于混合变量贝叶斯网络的统一联合概率模型？
• RQ2 混和网络在不进行离散化的情况下，对连续与离散变量之间复杂依赖关系的建模能力如何？
• RQ3 能否将快速且精确的高斯混合学习算法适配于高维场景下，以高效学习贝叶斯网络参数？
• RQ4 混和网络在包含混合变量类型的现实世界科学数据集上的表现如何？
• RQ5 与单高斯模型或基于核的方法等替代模型相比，混和网络在准确性与可扩展性方面表现如何？

主要发现

• 混和网络在包含数十个变量的真实科学数据集上实现了精确的联合密度估计，展现出强大的建模能力。
• 该方法无需离散化即可有效建模连续与离散变量之间的复杂依赖关系，同时保持数据保真度。
• 实验结果表明，混和网络在合成与真实数据集上的建模精度均优于单高斯模型等基线方法。
• 采用加速EM与k-d树的组合，可实现低维混合模型的快速学习，使该方法在中等维度领域具备可扩展性。
• 启发式结构学习算法成功从数据中识别出有意义的网络结构，支持实际部署。
• 该框架具有可扩展性，支持未来改进，如变量分组、其他参数学习器，以及混合离散-连续混合模型。