[论文解读] Efficient Learning of Bounded-Treewidth Bayesian Networks from Complete and Incomplete Data Sets

Mauro Scanagatta, Giorgio Corani+3 more|arXiv (Cornell University)|Feb 7, 2018

Bayesian Modeling and Causal Inference参考文献 21被引用 3

一句话总结

该论文提出 k-MAX，一种用于从完整和不完整数据中学习有界树宽贝叶斯网络的任意时间算法，其在结构得分和可扩展性方面显著优于现有方法。当集成到结构化 EM 中时，k-MAX 实现了高效、线性时间的数据填补，速度比当前最先进的随机森林方法快约 10 倍，同时保持相近的准确率，并具备完整的并行化能力。

ABSTRACT

Learning a Bayesian networks with bounded treewidth is important for reducing the complexity of the inferences. We present a novel anytime algorithm (k-MAX) method for this task, which scales up to thousands of variables. Through extensive experiments we show that it consistently yields higher-scoring structures than its competitors on complete data sets. We then consider the problem of structure learning from incomplete data sets. This can be addressed by structural EM, which however is computationally very demanding. We thus adopt the novel k-MAX algorithm in the maximization step of structural EM, obtaining an efficient computation of the expected sufficient statistics. We test the resulting structural EM method on the task of imputing missing data, comparing it against the state-of-the-art approach based on random forests. Our approach achieves the same imputation accuracy of the competitors, but in about one tenth of the time. Furthermore we show that it has worst-case complexity linear in the input size, and that it is easily parallelizable.

研究动机与目标

• 开发一种可扩展、高性能的算法，用于从大规模数据中学习有界树宽的贝叶斯网络。
• 通过将 k-MAX 集成到结构化 EM 中，解决从不完整数据进行结构学习的计算瓶颈。
• 在保持高准确率和低计算成本的同时，实现基于有界树宽网络的高效数据填补。
• 实现最坏情况下的线性时间复杂度和原生并行化能力，以支持大规模应用。

提出的方法

• k-MAX 采用先进的启发式方法，迭代优化在树宽约束下的贝叶斯网络结构，确保获得高分的 DAG。
• 该算法为任意时间算法，支持在任意时刻提前停止并返回当前最优解，且设计用于扩展到数千个变量。
• k-MAX 集成到结构化 EM（SEM）的极大化步骤中，通过有界树宽推理高效计算期望充分统计量。
• 该方法通过在学习到的有界树宽网络上进行精确推理来执行数据填补，当树宽和变量基数为常数时，每次查询的代价为 O(n)。
• 整个流程可并行化：父节点集识别、k-MAX 优化和期望阶段查询可分布到多个核心上执行。
• 通过调整各算法阶段的时间限制，用户可调节填补准确率与运行时间之间的权衡。

实验结果

研究问题

• RQ1 k-MAX 是否能在完整数据集上优于现有的任意时间算法（如 k-greedy），以学习到更高得分的有界树宽贝叶斯网络？
• RQ2 k-MAX 是否能高效集成到结构化 EM 中，以实现对不完整数据中数千个变量的可扩展处理？
• RQ3 与当前最先进的方法相比，所提出的 SEM-k-MAX 方法是否在显著降低运行时间的同时，仍能实现具有竞争力的填补准确率？
• RQ4 SEM-k-MAX 的理论时间复杂度是多少？其是否随输入规模线性扩展？
• RQ5 SEM-k-MAX 流程在多处理器环境下的并行化程度如何？

主要发现

• 在完整数据集上，k-MAX 一致地获得比 k-greedy 和其他竞争方法更高的贝叶斯网络结构得分，尤其在高维场景下表现更优。
• SEM-k-MAX 实现了与当前最先进的基于随机森林的方法相当的数据填补准确率，但运行速度快约十倍。
• SEM-k-MAX 的最坏情况时间复杂度与输入规模呈线性关系（O(nd)），使其可扩展至包含数千个变量的海量数据集。
• 该方法具备原生并行化能力，可在变量、核心和数据点之间独立执行，支持高效的分布式部署。
• 通过执行时间限制（如 t=1,5,10）进行参数调优，用户可平衡准确率与速度，实验表明 t=1 在准确率与速度之间提供了最佳权衡。
• 该方法是文献中首个在大规模场景下结合高效结构化 EM 与有界树宽学习的方法，实现了对不完整数据的可 tractable 推理。