[论文解读] A Bayesian Network Scoring Metric That Is Based On Globally Uniform Parameter Priors

Mehmet Kayaalp, Gregory F. Cooper|arXiv (Cornell University)|Dec 12, 2012

Bayesian Modeling and Causal Inference参考文献 9被引用 31

一句话总结

本文提出了全局均匀（Global Uniform, GU）贝叶斯网络评分度量，该度量在与网络结构相容的所有联合概率分布上使用非信息性、全局均匀的先验。GU度量通过确保所有一致的分布先验等可能，解决了BDeu和K2中的不一致性问题，为在缺乏领域特定先验时的结构学习提供了一个有原则的默认方案，尽管对于一般网络而言高效计算仍是开放挑战。

ABSTRACT

We introduce a new Bayesian network (BN) scoring metric called the Global Uniform (GU) metric. This metric is based on a particular type of default parameter prior. Such priors may be useful when a BN developer is not willing or able to specify domain-specific parameter priors. The GU parameter prior specifies that every prior joint probability distribution P consistent with a BN structure S is considered to be equally likely. Distribution P is consistent with S if P includes just the set of independence relations defined by S. We show that the GU metric addresses some undesirable behavior of the BDeu and K2 Bayesian network scoring metrics, which also use particular forms of default parameter priors. A closed form formula for computing GU for special classes of BNs is derived. Efficiently computing GU for an arbitrary BN remains an open problem.

研究动机与目标

• 解决现有贝叶斯网络评分度量（如BDeu和K2）在使用默认先验时存在的缺陷，这些缺陷具有不良行为特征。
• 开发一种评分度量，使得所有与网络结构一致的联合概率分布在先验中具有相等的可能性。
• 在缺乏或不切实际使用领域特定先验时，为贝叶斯网络结构学习提供一个有原则的、非信息性的默认先验。
• 为特殊类别的贝叶斯网络推导GU评分的闭式表达式。
• 识别并突出展示将GU评分扩展到任意贝叶斯网络结构时的计算挑战。

提出的方法

• GU度量基于所有与给定贝叶斯网络结构相容的联合概率分布上的均匀先验。
• 一致性由网络结构所编码的条件独立关系集合定义。
• 该度量使用非信息先验，即在观察数据之前，所有变量上的有效分布具有相等的概率。
• 针对特定类别的贝叶斯网络（如树形网络或具有受限拓扑的网络）推导出GU评分的闭式公式。
• 该方法依赖于在均匀先验下对类似狄利克雷的参数空间进行积分，从而得到反映在此非信息假设下边缘似然的评分。
• 通过确保所有一致分布的均匀性，该方法避免了BDeu和K2中常见的参数敏感性和偏差问题。

实验结果

研究问题

• RQ1 如何设计一种贝叶斯网络评分度量，以避免在使用默认先验时BDeu和K2固有的偏差？
• RQ2 所有与网络结构一致的联合分布先验等可能意味着什么？
• RQ3 在均匀先验下，能否为特定类别的贝叶斯网络推导出评分度量的闭式表达式？
• RQ4 将全局均匀先验应用于任意贝叶斯网络结构时，其计算影响是什么？
• RQ5 在非信息性假设下，GU度量与BDeu和K2在结构学习性能方面有何比较？

主要发现

• GU度量确保所有与贝叶斯网络结构相容的联合概率分布均被赋予相等的先验概率，从而消除了默认先验假设带来的偏差。
• GU度量解决了BDeu和K2中已知的问题，例如对参数先验选择的敏感性以及在非信息性设置下的不一致结构学习行为。
• 针对特殊类别的贝叶斯网络，推导出了GU评分的闭式公式，使得在这些情况下可实现精确计算。
• 尽管具有理论优势，但高效计算任意贝叶斯网络结构的GU评分仍是开放问题。
• 当缺乏或不可靠领域特定先验时，GU度量为结构学习提供了一个有原则的、非信息性的替代方案。
• 该方法为未来工作奠定了基础，即开发在理论上有依据且对先验设定具有鲁棒性的默认评分度量。