[论文解读] Improved Acyclicity Reasoning for Bayesian Network Structure Learning with Constraint Programming

Fulya Trösser, Simon de Givry+1 more|arXiv (Cornell University)|Jun 23, 2021

Bayesian Modeling and Causal Inference参考文献 21被引用 4

一句话总结

本文针对约束规划中的贝叶斯网络结构学习（BNSL）问题，提出了一种改进的无环性推理方法，引入了多项式时间的聚类割发现算法、一种贪心的对偶线性规划（LP）求解器，以及一种优化的广义弧一致性（GAC）传播器。这些技术整合进CPBayes系统，形成名为ELSA的新求解器，显著降低了搜索时间，性能优于GOBNILP和CPBayes，尤其在大规模BNSL实例上，成功在时间限制内求解了9个额外实例达到最优解。

ABSTRACT

Bayesian networks are probabilistic graphical models with a wide range of application areas including gene regulatory networks inference, risk analysis and image processing. Learning the structure of a Bayesian network (BNSL) from discrete data is known to be an NP-hard task with a superexponential search space of directed acyclic graphs. In this work, we propose a new polynomial time algorithm for discovering a subset of all possible cluster cuts, a greedy algorithm for approximately solving the resulting linear program, and a generalised arc consistency algorithm for the acyclicity constraint. We embed these in the constraint programmingbased branch-and-bound solver CPBayes and show that, despite being suboptimal, they improve performance by orders of magnitude. The resulting solver also compares favourably with GOBNILP, a state-of-the-art solver for the BNSL problem which solves an NP-hard problem to discover each cut and solves the linear program exactly.

研究动机与目标

• 为利用约束规划求解离散数据下的贝叶斯网络结构学习这一NP难问题。
• 通过减少对昂贵的NP难割集生成的依赖，提升基于约束规划求解器中无环性推理的效率。
• 开发轻量但高效的推理机制，在解的质量与计算速度之间取得良好平衡。
• 通过结合更快的松弛界估计与基于无环性约束的强剪枝策略，超越现有求解器如GOBNILP与CPBayes。
• 通过优化域剪枝与线性松弛技术，实现BNSL求解器在更大规模实例上的可扩展性。

提出的方法

• 提出一种多项式时间算法，用于发现能严格改善无环性约束线性松弛的一组聚类割。
• 引入一种贪心算法，用于近似求解对偶线性规划问题，灵感源自MaxSAT与WCSP方法，以加速松弛计算。
• 设计一种改进时间复杂度与实际性能的无环性约束广义弧一致性（GAC）传播器，优于以往工作。
• 将这些组件整合进CPBayes求解器，形成名为ELSA的新求解器，采用带增强界与剪枝的分支定界法。
• 采用启发式聚类排序策略，提升贪心对偶LP求解器中界的质量，从而整体提升性能。
• 在约束规划框架中采用混合方法，结合对称性打破、子问题缓存与模式数据库，用于下界估计。

实验结果

研究问题

• RQ1 能否通过一种多项式时间的无环性割集发现方法，在不求解NP难子问题的前提下，显著提升基于约束规划的BNSL求解器性能？
• RQ2 贪心对偶LP求解器是否能提供足够逼近精确LP松弛的近似解，从而显著缩短BNSL的运行时间？
• RQ3 优化后的无环性约束GAC传播器是否能比现有方法更有效地减少搜索空间探索？
• RQ4 将轻量推理与强剪枝策略结合，是否能实现优于GOBNILP与CPBayes等最先进求解器的性能？
• RQ5 在BNSL背景下，聚类排序与启发式割集选择在多大程度上提升了对偶界的质量？

主要发现

• ELSA作为增强版CPBayes求解器，在时间限制内比此前被认为最先进的GOBNILP多求解了9个BNSL实例达到最优。
• 在大多数实例上，ELSA相比CPBayes将搜索时间降低了数个数量级，仅bnetflix数据集例外。
• 在较大实例上，GAC传播器将搜索时间最多减少47%，表明其计算开销在大规模问题中是值得的。
• 聚类排序策略提升了界的质量，相比按时间顺序使用聚类，额外求解了3个实例达到最优。
• 所提出的多项式时间聚类割发现算法在推理强度与速度之间实现了良好权衡，实际表现优于GOBNILP的NP难割集生成方法。
• 尽管使用了近似对偶解，贪心LP求解器仍显著加速了松弛计算，并在分支定界搜索中实现了更快的剪枝。