[论文解读] A simple approach for finding the globally optimal Bayesian network structure

Tomi Silander, Petri Myllymäki|arXiv (Cornell University)|Jun 27, 2012

Bayesian Modeling and Causal Inference参考文献 6被引用 286

一句话总结

本论文提出了一种新颖且高效的算法，用于在可分解评分（如BIC或BDe）下实现贝叶斯网络结构学习的全局最优。通过利用动态规划和剪枝技术，该算法在30个以上变量的规模下实现了精确搜索的可扩展性，相较于先前方法在速度和简洁性方面表现更优，同时支持并行化处理以及对不同变量排序的探索。

ABSTRACT

We study the problem of learning the best Bayesian network structure with respect to a decomposable score such as BDe, BIC or AIC. This problem is known to be NP-hard, which means that solving it becomes quickly infeasible as the number of variables increases. Nevertheless, in this paper we show that it is possible to learn the best Bayesian network structure with over 30 variables, which covers many practically interesting cases. Our algorithm is less complicated and more efficient than the techniques presented earlier. It can be easily parallelized, and offers a possibility for efficient exploration of the best networks consistent with different variable orderings. In the experimental part of the paper we compare the performance of the algorithm to the previous state-of-the-art algorithm. Free source-code and an online-demo can be found at http://b-course.hiit.fi/bene.

研究动机与目标

• 解决在可分解评分（如BIC或BDe）下寻找全局最优贝叶斯网络结构的NP难问题。
• 克服中等至大型网络（超过10–15个变量）下精确结构学习的计算不可行性。
• 开发一种比现有方法更简单且更高效的方法，使实际应用中实现精确学习成为可能。
• 支持对不同变量排序下最佳网络的高效探索，提升鲁棒性和模型选择能力。
• 实现搜索过程的并行化，以提升在现代计算架构下的可扩展性和性能。

提出的方法

• 应用动态规划系统地探索每个变量的所有可能父节点集合，评分依据为可分解得分。
• 使用剪枝技术在搜索早期剔除次优的父节点集合，从而在不损失最优性的情况下减少搜索空间。
• 围绕变量排序组织算法，支持在并行环境中高效探索多种排序方式。
• 利用BIC和BDe等评分的可分解性，实现局部得分的逐步计算，并实现全局组合。
• 采用递归搜索策略，自底向上构建最优网络，从无父节点的变量开始。
• 设计算法时考虑解耦不同变量排序和部分配置下的搜索，使其易于实现并行化。

实验结果

研究问题

• RQ1 能否通过一种简单高效的算法，实现超过20个变量的贝叶斯网络结构学习的全局最优？
• RQ2 与先前最先进的精确结构学习算法相比，所提出方法在性能和可扩展性方面表现如何？
• RQ3 剪枝与动态规划在多大程度上能减少搜索空间而不影响最优性？
• RQ4 该算法能否有效并行化，以在多处理器或机器上加速计算？
• RQ5 变量排序的选择在多大程度上影响所学习结构的质量与效率？能否高效探索多种排序？

主要发现

• 所提出的算法成功实现了超过30个变量的数据集的全局最优贝叶斯网络结构学习，而此前此类规模的精确学习在以往方法中是不可行的。
• 该算法在速度和内存效率方面均优于先前的最先进方法，使更大规模网络的精确学习成为可能。
• 通过剪枝与动态规划的结合，显著减少了有效搜索空间，使精确学习在实际问题规模下变得可行。
• 该算法易于并行化，支持在分布式环境中高效探索多种变量排序。
• 该方法在不同数据集上均表现出高精度与一致性，且结果在所选评分下被确认为全局最优。
• 公开提供免费源代码和在线演示，有助于研究复现，并推动其在科研与实际应用中的广泛采用。