[论文解读] Learning networks determined by the ratio of prior and data

Maomi Ueno|arXiv (Cornell University)|Mar 15, 2012

Bayesian Modeling and Causal Inference参考文献 16被引用 33

一句话总结

本文分析了贝叶斯网络学习中的边缘似然得分，表明狄利克雷先验中等价样本量（ESS）与实际样本量的比值决定了添加边的惩罚。关键发现是，边数随 ESS 增大而单调增加，随 ESS 减小而单调减少，通过调整先验知识可统一各种得分度量。

ABSTRACT

Recent reports have described that the equivalent sample size (ESS) in a Dirichlet prior plays an important role in learning Bayesian networks. This paper provides an asymptotic analysis of the marginal likelihood score for a Bayesian network. Results show that the ratio of the ESS and sample size determine the penalty of adding arcs in learning Bayesian networks. The number of arcs increases monotonically as the ESS increases; the number of arcs monotonically decreases as the ESS decreases. Furthermore, the marginal likelihood score provides a unified expression of various score metrics by changing prior knowledge.

研究动机与目标

• 理解先验强度（以等价样本量 ESS 衡量）在贝叶斯网络结构学习中的作用。
• 分析 ESS 与数据样本量之比如何影响边缘似然得分及添加边的惩罚。
• 通过将先验与数据之比作为变量，将各种贝叶斯得分度量统一为单一公式。
• 在不同先验和数据条件下，对边缘似然得分进行渐近分析。

提出的方法

• 对贝叶斯网络的边缘似然得分进行渐近分析。
• 推导出添加边的惩罚作为 ESS 与样本量之比的函数。
• 使用具有 ESS 的狄利克雷先验来对条件概率分布的先验知识进行建模。
• 证明通过相对于数据规模调整先验强度，可统一表达不同得分度量下的边缘似然得分。
• 分析 ESS 与样本量之比与所学习边数之间的单调关系。

实验结果

研究问题

• RQ1 先验中等价样本量（ESS）与实际数据样本量之比如何影响贝叶斯网络学习中的边缘似然得分？
• RQ2 ESS 与数据之比与添加边的惩罚之间存在何种函数关系？
• RQ3 通过调整先验与数据之比，能否将各种贝叶斯得分度量统一于单一公式之下？
• RQ4 随着 ESS 与样本量之比的变化，所学习边的数量如何变化？

主要发现

• 等价样本量（ESS）与数据样本量之比决定了贝叶斯网络结构学习中添加边的惩罚。
• 随着 ESS 增大，所学习网络中的边数单调增加。
• 随着 ESS 减小，边数单调减少，表明可直接控制模型复杂度。
• 通过调整相对于数据规模的先验知识，边缘似然得分可统一表达各种得分度量。