[论文解读] Being Bayesian about Network Structure

Nir Friedman, Daphne Koller|arXiv (Cornell University)|Jan 16, 2013

Bayesian Modeling and Causal Inference参考文献 16被引用 267

一句话总结

本文提出了一种新颖的贝叶斯方法，通过在变量顺序空间而非网络结构空间中执行马尔可夫链蒙特卡洛（MCMC）来学习贝叶斯网络结构。通过利用与每个顺序一致的网络的指数级求和，该方法高效计算特征后验概率，实现了更平滑的后验景观，并在合成数据和真实数据集上优于基于结构的MCMC和非贝叶斯自助法。

ABSTRACT

In many domains, we are interested in analyzing the structure of the underlying distribution, e.g., whether one variable is a direct parent of the other. Bayesian model-selection attempts to find the MAP model and use its structure to answer these questions. However, when the amount of available data is modest, there might be many models that have non-negligible posterior. Thus, we want compute the Bayesian posterior of a feature, i.e., the total posterior probability of all models that contain it. In this paper, we propose a new approach for this task. We first show how to efficiently compute a sum over the exponential number of networks that are consistent with a fixed ordering over network variables. This allows us to compute, for a given ordering, both the marginal probability of the data and the posterior of a feature. We then use this result as the basis for an algorithm that approximates the Bayesian posterior of a feature. Our approach uses a Markov Chain Monte Carlo (MCMC) method, but over orderings rather than over network structures. The space of orderings is much smaller and more regular than the space of structures, and has a smoother posterior `landscape'. We present empirical results on synthetic and real-life datasets that compare our approach to full model averaging (when possible), to MCMC over network structures, and to a non-Bayesian bootstrap approach.

研究动机与目标

• 解决在数据有限时贝叶斯网络结构学习中的模型不确定性挑战。
• 在所有合理的模型上计算网络特征（如边）的后验概率，而非依赖于单一的MAP模型。
• 通过将MCMC采样从网络结构空间转移到变量顺序空间，提升计算效率并改善后验探索。
• 提供更准确、更稳健的贝叶斯网络中特征包含概率估计。

提出的方法

• 该方法通过动态规划高效处理与固定变量顺序一致的所有网络的指数级数量，对所有此类网络求和，以计算数据的边际似然和特征后验概率。
• 利用每个顺序诱导一组DAG（有向无环图）的事实，并为给定顺序计算所有此类DAG的后验概率之和。
• 核心算法使用MCMC探索变量顺序空间，通过局部交换提出新顺序，并根据后验比值接受或拒绝。
• 通过聚合所有采样顺序的贡献并按其后验概率加权，估计特征（如边）的后验概率。
• 通过利用顺序空间的规则性和较小规模，避免了完整网络结构的高维、不规则后验景观。
• 在无需对所有可能网络进行完整模型平均的情况下，实现特征后验概率的高效计算。

实验结果

研究问题

• RQ1 当数据有限导致多个网络结构均合理时，如何高效计算网络特征（如边）的后验概率？
• RQ2 在变量顺序空间上进行MCMC采样是否能比在网络结构空间上提供更有效、更平滑的后验分布探索？
• RQ3 在贝叶斯网络结构学习中，将顺序作为MCMC状态空间是否具有计算和统计上的优势？
• RQ4 与完整模型平均和非贝叶斯自助法相比，该方法在准确性和效率方面表现如何？
• RQ5 当可能的网络结构数量呈指数级增长时，该方法能否可靠估计特征包含概率？

主要发现

• 在数据量较低的场景下，该方法在特征后验概率估计方面显著优于非贝叶斯自助法。
• 与在结构空间采样相比，在顺序空间采样可实现更平滑的后验景观，从而加快混合速度并提高MCMC收敛的可靠性。
• 当计算可行时，该方法提供的特征后验估计与完整模型平均的结果高度一致。
• 在合成数据和真实世界数据集上的实证评估表明，该方法在准确性和计算效率方面均优于基于结构的MCMC。
• 将顺序作为MCMC状态空间可降低搜索空间的维度和不规则性，从而实现对后验分布更有效的探索。
• 该方法在无需枚举所有可能网络的情况下成功计算了特征后验概率，使其可扩展至中等规模网络。