[论文解读] Consistent Second-Order Conic Integer Programming for Learning Bayesian Networks

Si̇mge Küçükyavuz, Ali Shojaie+3 more|arXiv (Cornell University)|May 29, 2020

Bayesian Modeling and Causal Inference参考文献 41被引用 6

一句话总结

本文提出了一种一致的二阶锥混合整数规划（MISOCP）方法，用于从连续数据中学习稀疏贝叶斯网络，采用线性结构方程模型。通过用二阶锥约束替代大M约束，并引入一种早期停止准则，该方法增强了松弛强度，加速了收敛速度，并确保了解的渐近一致性，相较于现有公式在密集和大规模网络上表现更优。

ABSTRACT

Bayesian Networks (BNs) represent conditional probability relations among a set of random variables (nodes) in the form of a directed acyclic graph (DAG), and have found diverse applications in knowledge discovery. We study the problem of learning the sparse DAG structure of a BN from continuous observational data. The central problem can be modeled as a mixed-integer program with an objective function composed of a convex quadratic loss function and a regularization penalty subject to linear constraints. The optimal solution to this mathematical program is known to have desirable statistical properties under certain conditions. However, the state-of-the-art optimization solvers are not able to obtain provably optimal solutions to the existing mathematical formulations for medium-size problems within reasonable computational times. To address this difficulty, we tackle the problem from both computational and statistical perspectives. On the one hand, we propose a concrete early stopping criterion to terminate the branch-and-bound process in order to obtain a near-optimal solution to the mixed-integer program, and establish the consistency of this approximate solution. On the other hand, we improve the existing formulations by replacing the linear "big-$M$" constraints that represent the relationship between the continuous and binary indicator variables with second-order conic constraints. Our numerical results demonstrate the effectiveness of the proposed approaches.

研究动机与目标

• 解决从连续数据中学习贝叶斯网络DAG结构时精确混合整数二次规划（MIQP）公式的计算不可行性问题。
• 通过用二阶锥约束替代线性‘大M’约束，改进MIQP公式中连续松弛的强度。
• 在分支定界法中建立一种早期停止准则，确保在统计最优性条件下解的渐近一致性。
• 在非可识别和密集网络上，展示优于现有最先进方法的性能。
• 为学习具有理想统计性质的稀疏DAG提供一个可证明最优或近似最优的解框架。

提出的方法

• 采用二阶锥约束替代线性大M约束，重新表述用于贝叶斯网络结构学习的混合整数二次规划，以增强连续松弛强度。
• 在分支定界算法中引入一种新颖的早期停止准则，确保解在样本量增大时以高概率渐近恢复真实参数。
• 使用带ℓ₀正则化的惩罚负对数似然（PNL）作为目标函数，以促进估计DAG的稀疏性。
• 通过二值变量引入拓扑排序约束，以替代指数级数量的环路割平面，从而强制实现无环性。
• 利用目标函数的凸二次结构与锥重构，提升计算效率并加快最优性间隙收敛。
• 在不同规模和密度的真实与合成数据集上应用该方法，以评估性能表现。

实验结果

研究问题

• RQ1 二阶锥约束是否能显著提升MIQP公式在贝叶斯网络结构学习中连续松弛的强度？
• RQ2 所提出的分支定界法中的早期停止准则是否能在样本量增加时，产生与真实DAG统计一致的解？
• RQ3 在非可识别和密集网络上，MISOCP公式与现有大M MIQP及A*-lasso方法相比，在最优性间隙和解质量方面表现如何？
• RQ4 该方法是否能在合理时间内为中等到大规模贝叶斯网络实现可证明最优或近似最优的解？
• RQ5 ℓ₀正则化与锥重构对线性SEM中真实因果结构恢复的影响是什么？

主要发现

• 采用二阶锥约束的MISOCP公式相比大M公式实现了显著更紧的连续松弛，从而加快收敛速度并改善最优性间隙，尤其在密集和大规模网络中表现更优。
• 在Hailfinder（56个节点）和Hepar2（70个节点）数据集中，MISOCP公式相比大M MIQP，优化间隙更小，下界更高，下界分别从0.006提升至0.014和从0.011提升至0.014。
• 早期停止准则在大多数实例中于1–2分钟内成功终止分支定界过程，即使未达到完全最优，仍实现了高统计一致性。
• 该方法优于两种最先进算法——A*-lasso和现有整数规划方法，尤其在非可识别数据集上，实现了更高的真正例率和更低的假发现率。
• 在Galaxy（20个节点）和Insurance（27个节点）网络中，MISOCP公式相比大M公式实现了更小的最优性间隙（如0.007 vs. 0.015）和更高的下界，表明松弛质量更优。
• 该方法在极小最优性间隙下实现了高恢复率（如Galaxy为.955，Insurance为.981），表明在各类网络结构中均具有强大的统计一致性和鲁棒性。