[论文解读] Learning Bayesian Networks: A Unification for Discrete and Gaussian Domains

David Heckerman, Dan Geiger|arXiv (Cornell University)|Feb 20, 2013

Bayesian Modeling and Causal Inference参考文献 15被引用 125

一句话总结

本文通过从狄利克雷分布和正态-维夏特分布导出的一般贝叶斯评分度量，统一了离散域和高斯域的贝叶斯网络学习。它利用共轭先验和边缘似然，实现了两种域之间的一致结构学习，为混合贝叶斯网络推理与评分提供了一个理论基础坚实、计算可行的统一框架。

ABSTRACT

We examine Bayesian methods for learning Bayesian networks from a combination of prior knowledge and statistical data. In particular, we unify the approaches we presented at last year's conference for discrete and Gaussian domains. We derive a general Bayesian scoring metric, appropriate for both domains. We then use this metric in combination with well-known statistical facts about the Dirichlet and normal--Wishart distributions to derive our metrics for discrete and Gaussian domains.

研究动机与目标

• 在单一概率框架下统一离散域和高斯域的贝叶斯网络结构学习方法。
• 推导一个适用于离散变量和连续（高斯）变量的通用贝叶斯评分度量。
• 利用狄利克雷分布和正态-维夏特分布的已知统计特性，实现在不同域之间的评分一致性。
• 为混合贝叶斯网络学习提供一个理论坚实且计算可行的方法。
• 通过消除领域特定的评分启发式方法，提升结构学习的可解释性和一致性。

提出的方法

• 在共轭先验下，利用边缘似然推导通用的贝叶斯评分度量。
• 将狄利克雷分布用作多项式（离散）条件概率表的共轭先验。
• 将正态-维夏特分布用作多元高斯条件分布的共轭先验。
• 使用每种网络结构下数据的边缘似然作为评分函数。
• 结合先验知识与观测数据，计算网络结构的后验评分。
• 通过在混合变量类型上使用统一度量，实现基于评分的结构搜索优化。

实验结果

研究问题

• RQ1 能否推导出一个适用于离散和高斯贝叶斯网络的单一贝叶斯评分度量？
• RQ2 如何利用共轭先验（狄利克雷和正态-维夏特）统一离散和连续条件分布的评分？
• RQ3 在混合域中使用边缘似然作为评分的理论基础是什么？
• RQ4 统一度量如何确保在混合变量类型上的结构学习的一致性和最优性？
• RQ5 将此统一方法应用于真实世界数据时，其计算和统计影响是什么？

主要发现

• 推导出一个适用于离散和高斯贝叶斯网络的统一评分度量。
• 利用共轭先验（狄利克雷和正态-维夏特）可精确计算两种域的边缘似然。
• 统一度量使得在混合域中实现一致的结构学习，而无需分别使用评分函数。
• 该方法为在网络学习中结合先验知识与统计数据提供了理论基础。
• 该方法支持使用同一度量在混合变量类型上高效进行基于评分的结构搜索。
• 该框架使得使用单一、一致的评分标准，对同时包含离散和连续变量的贝叶斯网络进行有原则的学习成为可能。