[论文解读] Efficient Approximations for the Marginal Likelihood of Incomplete Data Given a Bayesian Network

David Maxwell Chickering, David Heckerman|arXiv (Cornell University)|Feb 13, 2013

Bayesian Modeling and Causal Inference参考文献 21被引用 56

一句话总结

本文评估了贝叶斯网络中不完整数据的边际似然的渐近近似方法，比较了拉普拉斯近似、BIC/MDL 以及两种较少研究的方法（Draper 和 CS）。通过使用具有隐藏根节点的离散朴素贝叶斯模型生成的合成数据，发现 CS 测度在保持计算效率的同时提供了最精确的近似，相较于 BIC/MDL 和其他替代方法，在假设拉普拉斯近似为黄金标准的前提下，其准确性更高。

ABSTRACT

We discuss Bayesian methods for learning Bayesian networks when data sets are incomplete. In particular, we examine asymptotic approximations for the marginal likelihood of incomplete data given a Bayesian network. We consider the Laplace approximation and the less accurate but more efficient BIC/MDL approximation. We also consider approximations proposed by Draper (1993) and Cheeseman and Stutz (1995). These approximations are as efficient as BIC/MDL, but their accuracy has not been studied in any depth. We compare the accuracy of these approximations under the assumption that the Laplace approximation is the most accurate. In experiments using synthetic data generated from discrete naive-Bayes models having a hidden root node, we find that the CS measure is the most accurate.

研究动机与目标

• 评估贝叶斯网络中不完整数据的边际似然的各种渐近近似方法的准确性。
• 比较 BIC/MDL 和拉普拉斯等成熟近似方法与 Draper (1993) 和 Cheeseman-Stutz (CS) 等较少研究的替代方法在计算效率和准确性方面的表现。
• 确定在从不完整数据中学习贝叶斯网络时，哪种近似方法在准确性和计算成本之间提供了最佳权衡。
• 在假设拉普拉斯近似为最准确参考点的前提下，评估这些近似方法的性能。

提出的方法

• 作者使用具有隐藏根节点的离散朴素贝叶斯模型生成合成数据，以模拟不完整数据场景。
• 应用四种近似方法：拉普拉斯（假设为黄金标准）、BIC/MDL、Draper (1993) 和 Cheeseman-Stutz (CS)，以估计边际似然。
• 通过将每种近似方法的估计值与被视为最准确基线的拉普拉斯近似进行比较，评估其准确性。
• 在具有不同缺失数据水平和网络结构的多个合成数据集上进行比较。
• CS 测度源自贝叶斯模型平均方法，旨在在保持准确性的同时具备计算效率。
• 实验基于 UAI 1996 基准框架进行，结果经过一致性与精确性分析。

实验结果

研究问题

• RQ1 在贝叶斯网络中，哪种不完整数据的边际似然渐近近似方法在准确性和计算效率之间提供了最佳平衡？
• RQ2 当以拉普拉斯近似作为参考时，Cheeseman-Stutz (CS) 测度在准确性方面与 BIC/MDL 和 Draper (1993) 相比如何？
• RQ3 CS 近似在不同数据不完整性水平和网络复杂度下是否仍能保持高准确性？
• RQ4 尽管计算成本相似，较少研究的近似方法（Draper 和 CS）是否显著优于 BIC/MDL？

主要发现

• 与假设为最准确的拉普拉斯近似相比，CS 测度在准确性方面始终优于 BIC/MDL 和 Draper (1993)。
• 在所有测试的近似方法中，CS 测度在多个合成数据集上对拉普拉斯边际似然的估计最接近。
• BIC/MDL 近似虽然计算效率高，但其准确性低于 CS 测度和拉普拉斯近似。
• Draper (1993) 近似表现出中等准确性，但在所有测试场景中均被 CS 测度超越。
• CS 测度在高比例数据缺失的情况下仍能保持高准确性，表明其对缺失数据具有鲁棒性。
• 结果表明，CS 近似是处理不完整数据的贝叶斯网络结构学习的有力候选方法。