[论文解读] Learning the Bayesian Network Structure: Dirichlet Prior versus Data

Harald Steck|arXiv (Cornell University)|Jun 13, 2012

Bayesian Modeling and Causal Inference参考文献 10被引用 10

一句话总结

本文研究了狄利克雷先验的等效样本量（ESS）对贝叶斯网络结构学习的影响。它从理论上分析了大ESS值的情况，表明当经验条件分布偏离均匀性时，即使先验和数据均暗示独立性，仍会偏好保留边。此外，本文提出了在实际设置中‘最优’ESS的解析近似，识别出最影响该最优值的数据特性。

ABSTRACT

In the Bayesian approach to structure learning of graphical models, the equivalent sample size (ESS) in the Dirichlet prior over the model parameters was recently shown to have an important effect on the maximum-a-posteriori estimate of the Bayesian network structure. In our first contribution, we theoretically analyze the case of large ESS-values, which complements previous work: among other results, we find that the presence of an edge in a Bayesian network is favoured over its absence even if both the Dirichlet prior and the data imply independence, as long as the conditional empirical distribution is notably different from uniform. In our second contribution, we focus on realistic ESS-values, and provide an analytical approximation to the "optimal" ESS-value in a predictive sense (its accuracy is also validated experimentally): this approximation provides an understanding as to which properties of the data have the main effect determining the "optimal" ESS-value.

研究动机与目标

• 理解狄利克雷先验中的等效样本量（ESS）如何影响贝叶斯网络中的最大后验结构学习。
• 分析在大ESS值下贝叶斯网络结构学习的理论行为，特别是当先验和数据均暗示独立性时的情形。
• 在预测意义下，推导出在实际ESS值下‘最优’ESS的解析近似。
• 识别出在实践中对最优ESS值影响最显著的数据特征。
• 通过实验验证所提出的ESS近似，并为结构学习中的先验选择提供实用指导。

提出的方法

• 对大ESS值下网络结构后验概率的理论分析，重点关注当先验和数据均暗示独立性时边的包含情况。
• 基于最小化期望预测误差，推导出预测意义下最优ESS的解析近似。
• 使用真实与估计条件分布之间的Kullback-Leibler散度来量化预测性能。
• 应用边际似然的渐近近似，推导出最优ESS作为数据分布特性的函数。
• 通过在合成数据集和真实世界数据集上的实验评估，验证该近似。
• 识别出决定最优ESS的关键数据特性，如条件分布非均匀性的程度。

实验结果

研究问题

• RQ1 在何种条件下，即使狄利克雷先验和数据均暗示条件独立性，贝叶斯网络中的边仍会被偏好？
• RQ2 狄利克雷先验中ESS的选择如何影响所学习的贝叶斯网络结构的预测准确性？
• RQ3 在实践中，哪些数据特征对结构学习的最优ESS值影响最为显著？
• RQ4 能否为平衡先验影响与数据证据的最优ESS推导出闭式解析近似？
• RQ5 在大ESS值下后验的理论行为与实际设置中的经验表现相比如何？

主要发现

• 即使狄利克雷先验和数据均暗示条件独立性，若经验条件分布显著偏离均匀性，MAP估计中仍会偏好保留边。
• 最优ESS值并非固定常数，而是取决于数据中条件分布的非均匀性。
• 所提出的最优ESS解析近似在各种数据集上均经实验验证后准确预测性能。
• 最优ESS的主要决定因素是经验条件分布偏离均匀性的程度，而不仅仅是样本量。
• 对于大ESS值，先验具有强烈影响，但若数据分布足够非均匀，边仍可能被包含。
• 该近似提供了一种有原则的ESS选择方法，可显著提升预测性能，优于默认或任意选择。