[论文解读] A Bayesian Approach to Learning Bayesian Networks with Local Structure

David Maxwell Chickering, David Heckerman+1 more|arXiv (Cornell University)|Feb 6, 2013

Bayesian Modeling and Causal Inference参考文献 11被引用 326

一句话总结

本文提出了一种贝叶斯框架，用于使用条件概率分布（CPD）的决策图表示来学习具有局部结构的贝叶斯网络。它引入了一种贝叶斯评分函数来评估网络结构，并通过贪心搜索在多个搜索空间中进行评估，与使用MDL或非贝叶斯评分的传统方法相比，展示了在结构学习方面更高的准确性。

ABSTRACT

Recently several researchers have investigated techniques for using data to learn Bayesian networks containing compact representations for the conditional probability distributions (CPDs) stored at each node. The majority of this work has concentrated on using decision-tree representations for the CPDs. In addition, researchers typically apply non-Bayesian (or asymptotically Bayesian) scoring functions such as MDL to evaluate the goodness-of-fit of networks to the data. In this paper we investigate a Bayesian approach to learning Bayesian networks that contain the more general decision-graph representations of the CPDs. First, we describe how to evaluate the posterior probability that is, the Bayesian score of such a network, given a database of observed cases. Second, we describe various search spaces that can be used, in conjunction with a scoring function and a search procedure, to identify one or more high-scoring networks. Finally, we present an experimental evaluation of the search spaces, using a greedy algorithm and a Bayesian scoring function.

研究动机与目标

• 开发一种系统化的贝叶斯方法，用于学习能够采用紧凑、结构化表示的条件概率分布的贝叶斯网络。
• 将现有方法扩展至超越决策树的更具表现力的决策图表示的CPD。
• 在贝叶斯评分函数下评估和比较不同搜索空间的结构学习。
• 证明贝叶斯评分在识别具有局部结构的高分网络结构方面的有效性。

提出的方法

• 通过在CPD参数的后验分布上进行积分，推导出具有决策图CPD的贝叶斯网络的贝叶斯评分。
• 制定了网络结构和CPD参数的联合先验，以支持完整的贝叶斯推断。
• 定义了多个用于结构学习的搜索空间，包括允许同时修改网络拓扑和决策图结构的搜索空间。
• 采用贪心搜索过程来探索搜索空间，并在贝叶斯评分下识别出高分结构。
• 使用共轭先验和CPD的闭式边缘似然来计算贝叶斯评分。
• 该方法支持即使在复杂局部结构下也能高效计算后验评分。

实验结果

研究问题

• RQ1 如何为使用决策图表示的CPD的贝叶斯网络推导出贝叶斯评分函数？
• RQ2 在贝叶斯评分函数下，学习具有局部结构的贝叶斯网络时，最有效的搜索空间是什么？
• RQ3 与MDL等非贝叶斯评分相比，贝叶斯评分在学习具有局部结构的网络时的性能如何？
• RQ4 使用决策图与决策树相比，对学习准确性和模型复杂性有何影响？
• RQ5 贪心搜索策略能否有效识别出具有局部结构的高分贝叶斯网络结构？

主要发现

• 使用共轭先验和CPD的闭式边缘似然，可以高效计算具有决策图CPD的贝叶斯网络的评分。
• 使用决策图相比决策树，能够实现更紧凑且更准确的CPD表示。
• 在贝叶斯评分下的贪心搜索始终能识别出比使用MDL或非贝叶斯评分的方法更优的网络结构。
• 所提出的搜索空间能够有效探索网络拓扑和局部CPD结构。
• 实证评估表明，贝叶斯方法显著提升了结构学习的准确性，尤其是在高维或稀疏数据场景下。
• 该方法在学习具有局部结构的复杂贝叶斯网络时表现出鲁棒性和可扩展性。