[论文解读] Bayesian network learning with cutting planes

James Cussens|arXiv (Cornell University)|Feb 14, 2012

Bayesian Modeling and Causal Inference参考文献 13被引用 167

一句话总结

本文提出了一种新颖的贝叶斯网络结构学习精确方法，通过将问题建模为带割平面的整数规划（IP）以强制实现无环性。利用SCIP框架并结合子IP生成有效的割平面，该方法在具有有界父节点集合大小的基准数据集上，相比以往方法实现了显著更快的精确学习，展现出极高的效率。

ABSTRACT

The problem of learning the structure of Bayesian networks from complete discrete data with a limit on parent set size is considered. Learning is cast explicitly as an optimisation problem where the goal is to find a BN structure which maximises log marginal likelihood (BDe score). Integer programming, specifically the SCIP framework, is used to solve this optimisation problem. Acyclicity constraints are added to the integer program (IP) during solving in the form of cutting planes. Finding good cutting planes is the key to the success of the approach -the search for such cutting planes is effected using a sub-IP. Results show that this is a particularly fast method for exact BN learning.

研究动机与目标

• 解决在父节点集合大小约束下，从完整离散数据中进行精确贝叶斯网络结构学习的挑战。
• 通过利用带动态约束生成的整数规划，提升精确学习的计算效率。
• 开发一种可扩展且高效的优化方法，以最大化BDe得分。
• 通过智能生成割平面，减轻在贝叶斯网络结构搜索中强制实现无环性的计算负担。

提出的方法

• 将结构学习问题建模为整数规划（IP），其中决策变量表示每个节点的潜在父节点集合。
• 目标函数为最大化网络结构的对数边际似然（BDe得分）。
• 通过求解过程中动态生成的割平面来强制实现无环性，而非预先包含所有约束。
• 使用子IP搜索并识别能消除环路解的有效割平面。
• 采用SCIP优化框架求解带动态添加割平面的IP。
• 对父节点集合大小进行限制，以提高可处理性并反映实际建模约束。

实验结果

研究问题

• RQ1 带动态割平面的整数规划是否能优于现有的贝叶斯网络结构学习精确方法？
• RQ2 使用子IP生成无环性约束割平面在减少求解时间方面的有效性如何？
• RQ3 对父节点集合大小进行限制在不牺牲模型质量的前提下，能在多大程度上提升可扩展性？
• RQ4 该割平面方法是否能在保持精确性的同时，在标准基准上实现显著的加速？

主要发现

• 所提出的方法在标准基准数据集上相比以往精确方法，实现了更快的精确学习性能。
• 使用动态割平面显著减少了求解IP所需的分支定界迭代次数。
• 用于生成割平面的子IP方法在识别环路和提升收敛速度方面非常有效。
• 该方法在适度的父节点集合大小约束下表现出良好的可扩展性，使得以往难以实现的更大规模网络的精确学习成为可能。