[论文解读] Bayesian Network Constraint-Based Structure Learning Algorithms: Parallel and Optimised Implementations in the bnlearn R Package

Marco Scutari|arXiv (Cornell University)|Jun 30, 2014

Bayesian Modeling and Causal Inference被引用 40

一句话总结

本文在 R 包 bnlearn 中提出了基于约束的贝叶斯网络结构学习算法的并行化和优化实现，表明并行化在速度和稳定性方面均优于回溯法。作者证明，现代多核硬件使并行执行比回溯法更高效，后者在获得微小速度提升的同时显著降低了学习的稳定性。

ABSTRACT

It is well known in the literature that the problem of learning the structure of Bayesian networks is very hard to tackle: its computational complexity is super-exponential in the number of nodes in the worst case and polynomial in most real-world scenarios. Efficient implementations of score-based structure learning benefit from past and current research in optimisation theory, which can be adapted to the task by using the network score as the objective function to maximise. This is not true for approaches based on conditional independence tests, called constraint-based learning algorithms. The only optimisation in widespread use, backtracking, leverages the symmetries implied by the definitions of neighbourhood and Markov blanket. In this paper we illustrate how backtracking is implemented in recent versions of the bnlearn R package, and how it degrades the stability of Bayesian network structure learning for little gain in terms of speed. As an alternative, we describe a software architecture and framework that can be used to parallelise constraint-based structure learning algorithms (also implemented in bnlearn) and we demonstrate its performance using four reference networks and two real-world data sets from genetics and systems biology. We show that on modern multi-core or multiprocessor hardware parallel implementations are preferable over backtracking, which was developed when single-processor machines were the norm.

研究动机与目标

• 解决基于约束的贝叶斯网络结构学习中回溯法存在的计算低效和不稳定问题。
• 为 bnlearn R 包中的基于约束的算法开发可扩展的并行软件架构。
• 证明在现代多核系统上，并行实现相较于回溯法在速度和稳定性方面更具优势。
• 评估并行化在不同贝叶斯网络结构和真实世界数据集上的性能与开销。

提出的方法

• 通过解耦节点之间的条件独立性检验，设计一种支持 embarrassingly parallel（毫无依赖）执行的软件框架，实现基于约束的结构学习算法。
• 使用 parallel 包在 bnlearn R 包中实现该框架，将计算分布到多个核心或处理器上。
• 对每个节点的马尔可夫毯及其邻域独立执行条件独立性检验，实现动态负载均衡和最小化同步开销。
• 以并行形式使用标准检验方法，如互信息（离散贝叶斯网络）和 Student’s t 检验（高斯贝叶斯网络），以保持算法一致性。
• 通过避免数据修改和确保每个从属进程处理独立且不重叠的任务，最小化通信和同步开销。
• 在四个参考贝叶斯网络和两个来自遗传学与系统生物学的真实世界数据集上评估性能。

实验结果

研究问题

• RQ1 与回溯法相比，并行化基于约束的结构学习算法是否在性能和稳定性方面有所提升？
• RQ2 并行化的开销如何随处理器数量和网络规模而变化？
• RQ3 并行实现能否在减少计算时间的同时保持与串行实现相同的准确性？
• RQ4 在现代多核硬件上，由于并行化带来的性能提升是否足以抵消其实现复杂性？

主要发现

• bnlearn 中的并行实现相较于回溯法在速度和稳定性方面均表现更优，后者在学习的 DAG 中引入了显著的变异性。
• 并行执行中观察到的最大开销仅为 0.08，表明在真实世界数据上，最多 20 个进程时具有高效的可扩展性。
• 即使仅使用 2 个核心，并行实现也优于回溯法在速度和一致性方面的表现，使其在通用硬件上更具优势。
• 该框架保持了与串行实现的算法等价性，确保执行了相同的条件独立性检验。
• 该方法在离散和高斯贝叶斯网络中均表现出高效的可扩展性，显示出广泛适用性。
• 即使在大型网络中，开销依然较低，表明动态负载均衡和最小化同步是有效的。