[论文解读] A Theoretical Analysis of the BDeu Scores in Bayesian Network Structure Learning

Joe Suzuki|arXiv (Cornell University)|Jul 15, 2016

Bayesian Modeling and Causal Inference参考文献 13被引用 5

一句话总结

本文对贝叶斯网络结构学习中的BDeu评分进行了理论分析，表明其违反了模型选择中的基本规律：即使更简单的模型能完美解释数据（即条件熵为零），BDeu评分仍可能偏好更复杂的结构。BDeu评分的潜在先验假设导致了反直觉的行为，与简洁性与拟合度之间的直观平衡原则相悖。

ABSTRACT

In Bayesian network structure learning (BNSL), we need the prior probability over structures and parameters. If the former is the uniform distribution, the latter determines the correctness of BNSL. In this paper, we compare BDeu (Bayesian Dirichlet equivalent uniform) and Jeffreys' prior w.r.t. their consistency. When we seek a parent set $U$ of a variable $X$, we require regularity that if $H(X|U)\leq H(X|U')$ and $U\subsetneq U'$, then $U$ should be chosen rather than $U'$. We prove that the BDeu scores violate the property and cause fatal situations in BNSL. This is because for the BDeu scores, for any sample size $n$,there exists a probability in the form $P(X,Y,Z)={P(XZ)P(YZ)}/{P(Z)}$ such that the probability of deciding that $X$ and $Y$ are not conditionally independent given $Z$ is more than a half. For Jeffreys' prior, the false-positive probability uniformly converges to zero without depending on any parameter values, and no such an inconvenience occurs.

研究动机与目标

• 研究贝叶斯网络结构学习（BNSL）中BDeu评分的理论性质，特别是其在不同样本大小和参数先验下的行为。
• 确定BDeu评分是否遵循“在拟合度和简洁性两方面均更优的模型应在模型选择中被优先考虑”的原则。
• 从一致性和理论严谨性角度，将BDeu评分与Jeffreys先验（BD评分）进行比较。
• 揭示BDeu评分的根本缺陷：即使条件熵为零，其仍可能错误地偏好更复杂的父节点集合，从而破坏模型选择的直觉。

提出的方法

• 通过不同父节点集合的边缘似然（对数评分）的渐近展开，对BDeu评分进行理论分析，比较包含与不包含额外父节点的结构的评分。
• 推导BDeu和Jeffreys先验的负对数评分表达式，其中包含伽马函数、样本计数和等价样本大小δ的项。
• 使用数学归纳法证明：对于Jeffreys先验，独立变量的边缘评分乘积始终大于或等于联合评分，从而确保与模型选择规律的一致性。
• 通过归纳法证明：对于δ > 0的BDeu，当满足特定条件时，联合评分严格小于边缘评分的乘积，从而违反了规律性条件。
• 分析BDeu评分在样本量n增大时的渐近行为，表明虽然其在点态意义下保持一致，但不具统一一致性。
• 利用伽马函数不等式，对BDeu与Jeffreys先验评分进行数学比较，以证明BDeu评分违反了规律性条件。

实验结果

研究问题

• RQ1 BDeu评分是否满足模型选择中的规律性条件，即在拟合度和简洁性两方面均更优的模型应被优先选择？
• RQ2 当某变量给定其父节点集合的条件熵为零（即拟合完美）时，BDeu评分的行为如何？
• RQ3 为何BDeu评分导致反直觉的模型选择结果，偏好更复杂的结构而非更简单但完美拟合的模型？
• RQ4 从理论上讲，BDeu评分与Jeffreys先验在一致性和模型选择原则遵循方面有何比较？
• RQ5 BDeu对等价样本大小δ的选择为何如此敏感？其根源是否来自更深层次的不一致性？

主要发现

• BDeu评分违反了模型选择的规律性条件：即使更简单的父节点集合能完美解释数据（条件熵 = 0），BDeu仍可能偏好更大的、更复杂的父节点集合。
• 对于Jeffreys先验（BD评分），独立变量的边缘评分乘积始终大于或等于联合评分，确保与模型选择直觉的一致性。
• 相比之下，对于δ > 0的BDeu评分，在n ≥ 2时，边缘评分乘积严格小于联合评分，违反了规律性条件。
• 该违反源于BDeu的先验假设：等价样本大小δ在所有配置中均匀分布，导致对模型复杂度的惩罚不一致。
• BDeu评分的不一致性并非源于样本量，而是源于其底层先验结构，与简洁性与拟合度之间的直观平衡相矛盾。
• 尽管BDeu在点态意义下是一致的（即对于任意固定贝叶斯网络，当n → ∞时可正确恢复真实结构），但其不具统一一致性，这意味着即使在大样本下，某些条件独立关系也可能无法被检测到。