[论文解读] Bayesian Network Learning via Topological Order

Young Woong Park, Diego Klabjan|arXiv (Cornell University)|Jan 20, 2017

Bayesian Modeling and Causal Inference参考文献 32被引用 11

一句话总结

该论文提出了一种基于拓扑排序的混合整数规划（MIP）模型及迭代算法，用于求解具有无环约束的贝叶斯网络结构学习问题。通过利用拓扑排序来强制实现无环性，该方法将约束数量减少至O(m²)，提升了密集图结构下的解质量，并在密集场景下优于基于弧的算法，其中GD10在高斯贝叶斯网络学习任务中展现出更优的稳定性和性能。

ABSTRACT

We propose a mixed integer programming (MIP) model and iterative algorithms based on topological orders to solve optimization problems with acyclic constraints on a directed graph. The proposed MIP model has a significantly lower number of constraints compared to popular MIP models based on cycle elimination constraints and triangular inequalities. The proposed iterative algorithms use gradient descent and iterative reordering approaches, respectively, for searching topological orders. A computational experiment is presented for the Gaussian Bayesian network learning problem, an optimization problem minimizing the sum of squared errors of regression models with L1 penalty over a feature network with application of gene network inference in bioinformatics.

研究动机与目标

• 解决在无环约束下学习贝叶斯网络结构所面临的计算挑战。
• 通过使用拓扑排序而非环消除或三角不等式，减少MIP公式中用于DAG学习的约束数量。
• 开发利用拓扑排序以提升搜索效率和解质量的迭代算法。
• 在高斯贝叶斯网络学习中评估性能，采用L1-惩罚最小二乘法，尤其关注密集图情形。
• 在不同稀疏度水平下，将基于拓扑排序的方法与基于弧的启发式算法及MIP基准进行比较。

提出的方法

• 提出一种新型MIP模型，利用拓扑排序强制实现无环性，仅需O(m²)个约束，远少于基于弧的模型中呈指数增长的约束数量。
• 利用关键性质：有向图是DAG当且仅当其存在一种拓扑排序，使得所有弧均从排序中靠前的节点指向靠后的节点。
• 设计两种迭代算法：GD10（在拓扑排序上进行梯度下降）和IR10（迭代重排），二者均基于节点排列来探索高质量的DAG。
• 采用基于L1正则化的惩罚最小二乘法的评分函数，以在高斯贝叶斯网络学习中平衡模型拟合度与稀疏性。
• 将拓扑排序框架同时应用于精确MIP与启发式迭代优化，实现对密集DAG的高效探索。
• 采用解质量度量δ_sol评估解与最优解的接近程度，δ_sol值越低表示性能越好。

实验结果

研究问题

• RQ1 能否利用拓扑排序构建一种更可扩展的MIP模型，使DAG学习的约束数量少于传统环消除方法？
• RQ2 在不同图密度下，基于拓扑排序的迭代算法在解质量与运行时间方面与基于弧的启发式算法相比表现如何？
• RQ3 所提出的MIP模型在高斯贝叶斯网络学习中，随着节点数和样本量增加，是否具有良好的可扩展性？
• RQ4 在何种图密度范围内，基于拓扑排序的方法优于基于弧的搜索算法？
• RQ5 评分函数的选择（如L1-惩罚最小二乘法）在多大程度上影响所学习的贝叶斯网络结构的质量？

主要发现

• 所提出的MIP模型约束数量显著减少（O(m²)），相比传统基于弧的MIP模型，提升了可扩展性与性能表现。
• GD10在解质量与稳定性方面始终优于IR10和DIST，尤其在密集图中表现突出，当λ > 0.3时达到最高的dTP与uTP值。
• 当λ = 0.25时，GD10实现dTP = 0.38与uTP = 0.56，优于IR10（dTP = 0.25，uTP = 0.50）与DIST（dTP = 0.30，uTP = 0.50）。
• 当λ较小时（如0.1），DIST在dTP与uTP上表现最佳（0.56），但GD10在不同λ值下始终保持更优的稳定性和整体性能。
• 在运行时间与可扩展性方面，MIP模型被迭代算法超越，尤其在大规模实例中；尽管如此，其解质量与列生成法相当。
• IR10与DIST的δ_sol（解质量）差异小于1%，但其生成的子图仅共享10条公共弧，表明解质量对微小变化高度敏感。