[论文解读] A Branch-and-Bound Algorithm for MDL Learning Bayesian Networks

Jin Tian|arXiv (Cornell University)|Jan 16, 2013

Bayesian Modeling and Causal Inference参考文献 10被引用 11

一句话总结

该论文提出了一种基于最小描述长度（MDL）原则、在固定变量顺序下的深度优先分支限界算法，用于学习贝叶斯网络结构。该算法通过全面搜索所有可能的网络结构，保证了最优结构发现，实验结果表明其性能高效，且时间复杂度随样本量增长缓慢。

ABSTRACT

This paper extends the work in [Suzuki, 1996] and presents an efficient depth-first branch-and-bound algorithm for learning Bayesian network structures, based on the minimum description length (MDL) principle, for a given (consistent) variable ordering. The algorithm exhaustively searches through all network structures and guarantees to find the network with the best MDL score. Preliminary experiments show that the algorithm is efficient, and that the time complexity grows slowly with the sample size. The algorithm is useful for empirically studying both the performance of suboptimal heuristic search algorithms and the adequacy of the MDL principle in learning Bayesian networks.

研究动机与目标

• 开发一种在MDL原则下可证明最优的贝叶斯网络结构学习算法。
• 扩展Suzuki（1996）的工作，通过分支限界剪枝实现更高效的穷举搜索。
• 为评估贝叶斯网络结构学习中的启发式搜索算法提供基线参考。
• 通过实验评估MDL原则在选择高质量网络结构方面的充分性。

提出的方法

• 该算法对给定变量顺序下的所有可能贝叶斯网络结构执行深度优先搜索。
• 使用MDL评分作为评估网络结构的客观函数。
• 应用分支限界剪枝策略，以消除其最佳可能得分无法超过当前最优值的子树。
• 搜索过程中维护一个全局最优得分，并在子树的MDL得分下界超过当前最优值时剪枝相应分支。
• 该算法保证在MDL准则下找到全局最优的网络结构。
• 通过保持一致的变量顺序来缩小搜索空间，并提升剪枝的有效性。

实验结果

研究问题

• RQ1 对于固定变量顺序，分支限界算法能否高效地找到MDL原则下的全局最优贝叶斯网络结构？
• RQ2 随着样本量的增加，穷举搜索的时间复杂度如何增长？
• RQ3 与启发式方法相比，MDL原则在多大程度上能生成准确的网络结构？
• RQ4 分支限界剪枝策略在不牺牲最优性的情况下，对减少搜索空间的效率如何？
• RQ5 通过与该最优基线比较，可以对次优启发式算法的性能获得哪些见解？

主要发现

• 该算法保证在给定变量顺序下，找到MDL原则下的全局最优贝叶斯网络结构。
• 初步实验表明，时间复杂度随样本量增加而缓慢增长，显示出良好的可扩展性。
• 该算法可作为评估贝叶斯网络结构学习中启发式搜索方法的可靠基准。
• 分支限界方法能有效剪除大量搜索空间，提升效率而不损失最优性。
• 实验证实，MDL原则是选择高质量网络结构的合理准则。