[论文解读] Conditions Under Which Conditional Independence and Scoring Methods Lead to Identical Selection of Bayesian Network Models

Robert G. Cowell|arXiv (Cornell University)|Jan 10, 2013

Bayesian Modeling and Causal Inference参考文献 11被引用 39

一句话总结

本文证明，在数据完整且节点顺序固定的前提下，贝叶斯网络结构学习中的条件独立性检验与基于评分的方法在数学上是等价的。具体而言，条件独立性检验所用的交叉熵度量与模型评分中使用的对数评分差异完全相同，统一了文献中通常被视为不同方法的两种途径。

ABSTRACT

It is often stated in papers tackling the task of inferring Bayesian network structures from data that there are these two distinct approaches: (i) Apply conditional independence tests when testing for the presence or otherwise of edges; (ii) Search the model space using a scoring metric. Here I argue that for complete data and a given node ordering this division is a myth, by showing that cross entropy methods for checking conditional independence are mathematically identical to methods based upon discriminating between models by their overall goodness-of-fit logarithmic scores.

研究动机与目标

• 为解决长期以来认为条件独立性检验与基于评分的方法在贝叶斯网络结构学习中是根本不同的两种方法的误解。
• 建立条件独立性检验中使用的交叉熵度量与模型选择中使用的对数评分度量之间的正式数学联系。
• 证明在数据完整且节点顺序固定的情况下，两种方法会产生相同的模型选择结果。
• 澄清文献中关于约束型与基于评分的学习范式之间关系的观念混淆。

提出的方法

• 本文分析了用于检验条件独立性的交叉熵度量与用于模型比较的对数评分之间的数学等价性。
• 推导了条件独立性检验中的检验统计量与两个模型之间对数似然得分差异之间的关系。
• 分析基于完整数据和固定节点顺序的假设，这简化了结构空间。
• 作者利用信息论原理表明，基于条件独立性判断是否包含边的决策，等价于选择对数得分更高的模型。
• 通过证明相邻模型间交叉熵差异的符号与对数得分差异的符号一致，从而证明了等价性。

实验结果

研究问题

• RQ1 在何种条件下，条件独立性检验与基于评分的方法会产生相同的贝叶斯网络结构？
• RQ2 条件独立性检验中使用的检验统计量与模型选择中使用的评分之间是否存在数学关系？
• RQ3 在完整数据和固定节点顺序的背景下，能否正式建立约束型与基于评分的学习之间的等价性？
• RQ4 为何文献中长期存在这两种方法在本质上不同的误解，尽管在特定条件下它们在数学上是等价的？

主要发现

• 在数据完整且节点顺序固定的情况下，使用交叉熵度量的条件独立性检验在数学上等价于通过对数评分度量进行的模型选择。
• 基于条件独立性判断是否在贝叶斯网络中包含有向边的决策，与在两个候选结构中选择对数得分更高的模型完全相同。
• 这种等价性成立的原因在于，两个模型之间交叉熵的差异恰好等于其对数评分的差异。
• 该结果表明，这两种方法并非本质上不同，而只是同一潜在统计决策过程的两种不同视角。