[论文解读] Learning Big Gaussian Bayesian Networks: Partition, Estimation and Fusion

Jiaying Gu, Qing Zhou|arXiv (Cornell University)|Jan 1, 2020

Bayesian Modeling and Causal Inference被引用 3

一句话总结

本文提出了一种新颖的分治框架——分割-估计-融合（Partition-Estimation-Fusion, PEF），用于在仅有有限样本的情况下学习包含数千个节点的大规模高斯贝叶斯网络。通过节点聚类、独立学习局部结构，并采用混合边添加策略融合子图，PEF在结构学习准确率上提升超过20%，同时相比现有方法将运行时间减少高达两个数量级。

ABSTRACT

Structure learning of Bayesian networks has always been a challenging problem. Nowadays, massive-size networks with thousands or more of nodes but fewer samples frequently appear in many areas. We develop a divide-and-conquer framework, called partition-estimation-fusion (PEF), for structure learning of such big networks. The proposed method first partitions nodes into clusters, then learns a subgraph on each cluster of nodes, and finally fuses all learned subgraphs into one Bayesian network. The PEF method is designed in a flexible way so that any structure learning method may be used in the second step to learn a subgraph structure as either a DAG or a CPDAG. In the clustering step, we adapt the hierarchical clustering method to automatically choose a proper number of clusters. In the fusion step, we propose a novel hybrid method that sequentially add edges between subgraphs. Extensive numerical experiments demonstrate the competitive performance of our PEF method, in terms of both speed and accuracy compared to existing methods. Our method can improve the accuracy of structure learning by 20% or more, while reducing running time up to two orders-of-magnitude.

研究动机与目标

• 解决在拥有数千个节点但样本有限的大规模网络中学习贝叶斯网络结构的挑战。
• 克服传统结构学习方法在大数据环境下面临的计算与统计局限性。
• 开发一种灵活且可扩展的框架，在显著降低运行时间的同时保持高准确率。
• 实现将局部子图结构有效整合为全局一致的贝叶斯网络。

提出的方法

• 使用一种改进的层次聚类方法对节点进行聚类，自动确定最优聚类数量。
• 在每个聚类上应用任意现有的结构学习算法，独立学习局部子图，支持DAG与CPDAG输出。
• 通过一种新颖的混合融合策略融合子图，基于统计准则按顺序添加跨聚类边。
• 采用灵活的设计，允许在估计阶段插拔多种结构学习方法。
• 利用条件独立性检验与基于评分的标准指导融合过程中的边添加。
• 在融合过程中通过强制保持无环性，确保最终网络为有效DAG。

实验结果

研究问题

• RQ1 分治方法是否能显著提升大规模高斯贝叶斯网络结构学习的可扩展性？
• RQ2 如何实现自适应聚类，以在大规模网络中平衡局部准确率与全局一致性？
• RQ3 与标准融合或直接学习相比，混合融合方法在准确率与速度方面能提升多少？
• RQ4 当样本量相对于网络规模较小时，PEF框架对学习准确率有何影响？

主要发现

• 与基线方法相比，PEF框架在大规模网络上的结构学习准确率提升超过20%。
• 该方法将运行时间减少高达两个数量级，使在包含数千个节点的网络上实现高效学习成为可能。
• 自适应聚类步骤成功在无需先验知识的情况下确定了最优聚类数量。
• 混合融合策略能有效结合子图，同时保持无环性与结构保真度。
• 该框架具有高度灵活性，可兼容多种结构学习算法，显著提升其实际适用性。
• 实证结果表明，无论网络规模与样本条件如何，框架均表现出一致的性能提升。