[论文解读] Advances in Bayesian Network Learning using Integer Programming

Mark Bartlett, James Cussens|arXiv (Cornell University)|Sep 26, 2013

Bayesian Modeling and Causal Inference参考文献 15被引用 70

一句话总结

本文提出一种整数规划（IP）方法，用于从完整离散数据中学习最优贝叶斯网络，该方法结合割平面法、快速贪心启发式算法以及紧化的线性松弛。与以往方法相比，该方法在评分和可扩展性方面均取得显著提升，在基准数据集上通过将贝叶斯网络结构学习重新表述为离散优化问题，并利用先进的IP技术求解，展现出显著的性能提升。

ABSTRACT

We consider the problem of learning Bayesian networks (BNs) from complete discrete data. This problem of discrete optimisation is formulated as an integer program (IP). We describe the various steps we have taken to allow efficient solving of this IP. These are (i) efficient search for cutting planes, (ii) a fast greedy algorithm to find high-scoring (perhaps not optimal) BNs and (iii) tightening the linear relaxation of the IP. After relating this BN learning problem to set covering and the multidimensional 0-1 knapsack problem, we present our empirical results. These show improvements, sometimes dramatic, over earlier results.

研究动机与目标

• 为解决从离散数据中使用精确优化方法学习最优贝叶斯网络结构的挑战。
• 在启发式或近似方法之外，提升贝叶斯网络学习的可扩展性和解的质量。
• 将贝叶斯网络结构学习问题重新表述为整数规划（IP）问题，以实现精确优化。
• 通过割平面法和松弛紧化等先进技术，提升求解IP问题的效率。
• 在标准基准数据集上，通过实证结果证明该方法优于现有方法。

提出的方法

• 将贝叶斯网络结构学习问题建模为整数规划（IP）问题，其中决策变量表示网络中可能存在的边。
• 应用快速贪心算法生成高评分、近似最优的网络作为初始解，以引导IP求解器。
• 使用高效的分离算法识别并添加割平面，以强化IP松弛并消除分数解。
• 通过添加源自问题结构的合法不等式（如集合覆盖和多维0-1背包问题相关不等式）来紧化IP的线性松弛。
• 利用贝叶斯网络学习与组合优化问题之间的关系，利用已知的多面体性质以获得更优的边界。
• 将上述组件整合到分支定割框架中，以求解IP问题至最优或近似最优。

实验结果

研究问题

• RQ1 整数规划能否有效应用于从离散数据中精确学习贝叶斯网络结构？
• RQ2 割平面法和松弛紧化技术在多大程度上提升了IP公式的求解效率？
• RQ3 快速贪心启发式算法在多大程度上提升了基于IP的学习框架的性能？
• RQ4 与以往最先进方法相比，所提出的IP方法在评分和运行时间方面表现如何？
• RQ5 将贝叶斯网络学习重新表述为集合覆盖或多维0-1背包问题，对求解器性能有何影响？

主要发现

• 所提出的基于IP的方法在评分质量方面显著优于以往方法，部分数据集上最优评分实现大幅提高。
• 割平面法与松弛紧化技术的结合有效缩小了最优性间隙，并加速了分支定割过程的收敛。
• 快速贪心启发式算法提供了高质量的初始解，显著缩短了找到最优或近似最优网络所需的时间。
• 在标准基准数据集上的实证结果表明，该方法的可扩展性优于以往的精确方法，能够求解此前不可行的实例。
• 将贝叶斯网络学习重新表述为集合覆盖和多维0-1背包问题，使得能够应用专门的割平面和合法不等式，从而提升求解器性能。
• 在多个基准数据集上，该方法在解的质量和计算效率方面均优于早期最先进算法。