[论文解读] An Empirical-Bayes Score for Discrete Bayesian Networks

Marco Scutari|arXiv (Cornell University)|May 12, 2016

Bayesian Modeling and Causal Inference参考文献 17被引用 12

一句话总结

本文提出了一种用于离散贝叶斯网络的新经验贝叶斯评分方法，结合了边缘均匀（MU）图先验与贝叶斯狄里克雷稀疏（BDs）边缘似然，以提升结构学习与预测准确性。MU+BDs评分在10个基准网络中均优于标准的U+BDeu方法，在DAG恢复与预测性能方面表现更优，且计算成本未增加。

ABSTRACT

Bayesian network structure learning is often performed in a Bayesian setting, by evaluating candidate structures using their posterior probabilities for a given data set. Score-based algorithms then use those posterior probabilities as an objective function and return the maximum a posteriori network as the learned model. For discrete Bayesian networks, the canonical choice for a posterior score is the Bayesian Dirichlet equivalent uniform (BDeu) marginal likelihood with a uniform (U) graph prior (Heckerman et al., 1995). Its favourable theoretical properties descend from assuming a uniform prior both on the space of the network structures and on the space of the parameters of the network. In this paper, we revisit the limitations of these assumptions; and we introduce an alternative set of assumptions and the resulting score: the Bayesian Dirichlet sparse (BDs) empirical Bayes marginal likelihood with a marginal uniform (MU) graph prior. We evaluate its performance in an extensive simulation study, showing that MU+BDs is more accurate than U+BDeu both in learning the structure of the network and in predicting new observations, while not being computationally more complex to estimate.

研究动机与目标

• 解决在离散贝叶斯网络结构学习中，均匀（U）先验与贝叶斯狄里克雷等价均匀（BDeu）评分的局限性。
• 克服U+BDeu因先验假设不一致而导致引入虚假边的倾向。
• 提出一种新的后验评分方法，在保持计算效率的同时提升学习准确率与预测性能。
• 为现有评分方法（如BIC、NIP-BIC、最优α-BDeu）提供一个理论基础扎实的替代方案，这些方法或计算成本过高，或在准确率上有所妥协。
• 证明新评分MU+BDs在不同网络类型与样本规模下，均在结构恢复与预测对数似然方面表现更优。

提出的方法

• 在DAG空间上提出一种边缘均匀（MU）先验，该先验假设单个边存在的边缘分布均匀，而非对所有DAG均匀。
• 引入贝叶斯狄里克雷稀疏（BDs）边缘似然，作为BDeu评分的重新参数化形式，通过基于局部网络结构调整狄利克雷先验集中参数，以偏好稀疏结构。
• 将MU先验与BDs边缘似然结合，形成MU+BDs评分，该评分具有解析可处理性，且计算复杂度与U+BDeu相当。
• 采用经验贝叶斯估计法，利用数据驱动的集中参数校准BDs评分，提升对稀疏依赖关系的敏感性。
• 在基于评分的结构学习框架中实现该评分，使用标准搜索算法（如爬山法）最大化后验评分。
• 通过在10个真实世界贝叶斯网络结构上进行不同样本规模与稀疏度水平的广泛模拟研究，验证该方法。

实验结果

研究问题

• RQ1 与U+BDeu相比，所提出的MU+BDs评分是否能提升学习到的贝叶斯网络结构的准确性？
• RQ2 与U+BDeu和BIC相比，MU+BDs是否能提升在未见数据上的预测性能？
• RQ3 尽管性能更优，MU+BDs的计算复杂度是否与U+BDeu相当？
• RQ4 与NIP-BIC、NIP-BDe或最优α-BDeu等先进评分相比，MU+BDs在准确率与效率方面表现如何？
• RQ5 新评分是否能有效减少在低样本场景下学习网络中虚假边的引入？

主要发现

• 在全部10个基准网络中，MU+BDs在学习正确DAG结构方面优于U+BDeu，其中7个网络达到最佳评分。
• 在预测对数似然评估中，MU+BDs在7个网络中取得最低平均得分（表现最佳），得分越低表示预测准确率越高。
• 在ALARM网络中，MU+BDs在α=10时的预测对数似然为1.51，而U+BDeu为1.67，表现出显著改进。
• 在ANDES网络中，MU+BDs在α=10时的预测对数似然为11.90，而U+BDeu为14.75，预测性能提升达19%。
• MU+BDs评分保持了与U+BDeu相当的计算效率，避免了NIP-BIC或最优α-BDeu等方法的高成本。
• BIC在10个网络中有3个表现优于U+BDeu，但MU+BDs在其余7个网络中均同时超越BIC，在结构学习与预测方面表现更优，展现出整体优越性。