[论文解读] Advances in Learning Bayesian Networks of Bounded Treewidth

Siqi Nie, Denis Deratani Mauá+2 more|arXiv (Cornell University)|Jun 5, 2014

Bayesian Modeling and Causal Inference参考文献 27被引用 23

一句话总结

本文提出了一种新颖的混合整数线性规划（MILP）公式，用于在有界树宽条件下精确学习贝叶斯网络结构，同时提出了一种基于采样的近似方法，通过均匀采样k-树并在其中选择最优结构。精确方法在更大规模网络和更高树宽条件下优于当前最先进方法，而近似方法则具有高效的可扩展性，并在包含最多100个变量的公开数据集上实现了高精度。

ABSTRACT

This work presents novel algorithms for learning Bayesian network structures with bounded treewidth. Both exact and approximate methods are developed. The exact method combines mixed-integer linear programming formulations for structure learning and treewidth computation. The approximate method consists in uniformly sampling $k$-trees (maximal graphs of treewidth $k$), and subsequently selecting, exactly or approximately, the best structure whose moral graph is a subgraph of that $k$-tree. Some properties of these methods are discussed and proven. The approaches are empirically compared to each other and to a state-of-the-art method for learning bounded treewidth structures on a collection of public data sets with up to 100 variables. The experiments show that our exact algorithm outperforms the state of the art, and that the approximate approach is fairly accurate.

研究动机与目标

• 为解决在树宽存在硬性约束条件下学习贝叶斯网络结构的挑战，该约束对高效可靠推理至关重要。
• 开发一种可扩展至先前动态规划方法极限之外的精确方法，尤其适用于变量超过50个的网络。
• 设计一种近似方法，以实现在大规模领域和高树宽限制下的可扩展学习，此时精确方法变得不可行。
• 通过避免使用指数级规模的约束和列生成技术，改进现有MILP公式，实现单次调用优化。
• 在包含最多100个变量、树宽边界各异的公开数据集上，对两种方法进行实证评估，并与当前最先进方法进行比较。

提出的方法

• 精确方法采用一种混合整数线性规划（MILP）公式，整合了现有用于无约束贝叶斯网络结构学习和树宽计算的MILP公式，从而形成一个多项式规模的问题，无需生成列生成约束。
• 近似方法通过均匀采样k-树（树宽为k的最大图）来实现，然后在每个k-树的子图上执行精确或近似结构学习，以找到得分最高的网络。
• 采样方法的版本1对与给定k-树兼容的所有可能网络结构执行穷举搜索，而版本2采用更快的近似搜索策略。
• 通过使用不同的随机种子多次重复采样过程以减少方差，并通过多次运行的中位数得分聚合结果。
• MILP公式通过标准求解器单次调用求解，避免了迭代约束生成，从而提高了效率和简洁性。
• 该方法利用了树宽是推理复杂度的关键决定因素的事实，因此通过约束树宽可实现在大规模模型中的可处理推理。

实验结果

研究问题

• RQ1 能否构建一个多项式规模的MILP公式，用于学习有界树宽的贝叶斯网络，从而避免迭代列生成？
• RQ2 在包含最多100个变量的数据集上，所提出的精确MILP方法在可扩展性和解质量方面与当前最先进方法相比表现如何？
• RQ3 在精确方法失效的大规模领域中，基于采样的方法通过探索多个k-树，能在多大程度上获得高质量解？
• RQ4 当专注于寻找高质量k-树而非在固定k-树内优化网络结构时，基于采样的方法是否更具有效性？
• RQ5 与使用MAX-SAT和带列生成技术的替代MILP公式的最新研究相比，所提出方法的性能如何？

主要发现

• 所提出的MILP公式在可扩展性方面优于当前最先进方法，成功解决了最多100个变量、树宽上限达10的问题，而当前最先进方法在变量超过50个的数据集上已失败。
• MILP方法在hill数据集（树宽≤4）上10分钟内未能产生解，在community数据集上3小时内未收敛，表明在大规模领域中存在可扩展性限制。
• 采样方法的版本2始终优于版本1，由于迭代时间更短且对k-树空间的探索更充分，其相对得分最高达到中位数性能的120%。
• 尽管在较慢的MATLAB中实现，近似方法实现了高精度，版本2在树宽上限为10的大规模数据集上甚至优于MILP公式。
• 基于采样的方法在领域规模和树宽上限上均呈线性可扩展，使其适用于精确方法失效的大规模贝叶斯网络学习。
• 结果表明，将计算资源投入寻找高质量k-树，比在单个k-树内优化网络结构更具收益，版本2的优越表现证实了这一点。