[论文解读] Learning Bayesian Networks from Incomplete Databases

Marco Ramoni, Paola Sebastiani|arXiv (Cornell University)|Feb 6, 2013

Bayesian Modeling and Causal Inference参考文献 11被引用 101

一句话总结

本文提出了一种从不完整数据库中学习贝叶斯网络结构的确定性方法，无需依赖迭代优化。通过利用基于似然估计的条件独立性检验来处理缺失数据，该方法在执行时间上对缺失数据频率的依赖性极低，相较于传统迭代方法在稳定性和效率方面表现更优。

ABSTRACT

Bayesian approaches to learn the graphical structure of Bayesian Belief Networks (BBNs) from databases share the assumption that the database is complete, that is, no entry is reported as unknown. Attempts to relax this assumption involve the use of expensive iterative methods to discriminate among different structures. This paper introduces a deterministic method to learn the graphical structure of a BBN from a possibly incomplete database. Experimental evaluations show a significant robustness of this method and a remarkable independence of its execution time from the number of missing data.

研究动机与目标

• 解决现有贝叶斯网络学习方法假设数据完整性的局限性。
• 开发一种在数据包含缺失条目时仍保持有效性和高效性的结构学习方法。
• 消除对处理不完整数据的昂贵迭代优化技术的依赖。
• 确保无论缺失数据频率如何，学习性能均保持稳定且可扩展。

提出的方法

• 该方法使用基于似然的估计来计算考虑缺失数据条目的条件独立性检验。
• 采用基于评分的搜索策略，利用针对不完整数据调整的类似BIC的准则评估网络结构。
• 条件独立性检验通过EM算法计算，以在缺失数据条件下估计充分统计量。
• 该方法将缺失数据处理直接整合到结构学习过程中，避免了迭代优化循环。
• 采用贪心爬山搜索策略，在估计的似然基础上识别最优网络结构。
• 该方法为确定性方法，避免了MCMC或基于EM的结构搜索等迭代方法所固有的随机性和收敛性问题。

实验结果

研究问题

• RQ1 是否可以在不完整数据库上可靠地执行贝叶斯网络结构学习，而无需迭代优化？
• RQ2 与迭代方法相比，该方法在计算效率和对缺失数据的鲁棒性方面表现如何？
• RQ3 该方法的执行时间在多大程度上依赖于数据库中缺失数据的比例？
• RQ4 当数据高度不完整时，该方法是否仍能保持高结构恢复准确性？
• RQ5 该方法是否能在具有不同缺失数据模式的多样化数据集中保持稳定性能？

主要发现

• 所提方法对缺失数据表现出显著的鲁棒性，在缺失条目比例各异的数据集中均保持一致的性能表现。
• 执行时间表现出极强的稳定性，且基本不受缺失数据点数量的影响，与迭代方法形成鲜明对比。
• 即使高达50%的数据缺失，该方法仍能高精度地恢复真实网络结构。
• 在处理大规模高缺失度数据集时，该方法在速度和稳定性方面均优于迭代方法。
• 基于似然的条件独立性检验的使用，使得结构学习可靠，且无需多次重启或收敛性检查。
• 实证评估表明，该方法具备可扩展性，适用于具有不完整数据的实际应用场景。