[论文解读] Turbocharging Treewidth-Bounded Bayesian Network Structure Learning

Vaidyanathan Peruvemba Ramaswamy, Stefan Szeider|arXiv (Cornell University)|May 18, 2021

Bayesian Modeling and Causal Inference被引用 3

一句话总结

本文提出一种混合方法，通过在大规模、有界树宽的贝叶斯网络（BN）中局部应用精确的MaxSAT优化，显著提升启发式贝叶斯网络（BN）结构学习的性能。通过聚焦于有前景的子结构应用精确方法，该方法将精确推理的能力扩展至含数千个变量的BN，显著优于当前最先进的启发式方法在得分提升方面的表现。

ABSTRACT

We present a new approach for learning the structure of a treewidth-bounded Bayesian Network (BN). The key to our approach is applying an exact method (based on MaxSAT) locally, to improve the score of a heuristically computed BN. This approach allows us to scale the power of exact methods—so far only applicable to BNs with several dozens of random variables—to large BNs with several thousands of random variables. Our experiments show that our method improves the score of BNs provided by state-of-the-art heuristic methods, often significantly.

研究动机与目标

• 为克服当前精确贝叶斯网络结构学习在可扩展性方面的限制，后者目前仅限于仅含数十个变量的小型网络。
• 提升启发式贝叶斯网络结构学习方法在含数千个变量的大规模网络中的性能。
• 在可扩展框架中实现精确优化技术的应用——这些技术此前仅限于小型BN——用于大规模、有界树宽的网络。
• 通过使用MaxSAT进行局部精确优化，改进启发式贝叶斯网络结构的得分。

提出的方法

• 该方法首先使用启发式算法为大规模网络生成初始贝叶斯网络结构。
• 在初始贝叶斯网络中识别出适合进行精确优化的局部子结构。
• 对每个选定的子结构，应用精确的MaxSAT求解器，以找到能提升整体网络得分的局部最优结构。
• 将改进后的子结构逐步重新组合回全局网络中，同时保持树宽约束。
• 重复此过程以迭代方式优化网络结构，直至无法再获得得分提升。
• 该方法确保在整个过程中树宽保持有界，从而保证推理和学习的计算可行性。

实验结果

研究问题

• RQ1 尽管完整精确学习在计算上不可行，能否有效将精确MaxSAT优化应用于含数千个变量的大规模贝叶斯网络？
• RQ2 通过在局部子结构上应用精确优化，启发式贝叶斯网络结构的得分能提升多少？
• RQ3 所提出的方法在多大程度上突破了传统精确贝叶斯网络结构学习的限制？
• RQ4 在提升模型质量的同时，局部应用精确方法是否能保持树宽约束？

主要发现

• 所提出的方法显著提升了由当前最先进的启发式方法生成的贝叶斯网络得分，通常实现显著的性能增益。
• 该方法使精确MaxSAT优化能够应用于含数千个变量的贝叶斯网络，将精确方法的应用范围远远扩展至其以往的适用范围。
• 在多种不同数据集上均一致观察到得分提升，表明方法具有鲁棒性和有效性。
• 该方法在整个过程中保持了树宽约束，确保推理在计算上依然可行。