[论文解读] A Parallel Algorithm for Exact Bayesian Structure Discovery in Bayesian Networks

Yetian Chen, Jin Tian+2 more|arXiv (Cornell University)|Aug 7, 2014

Bayesian Modeling and Causal Inference参考文献 20被引用 3

一句话总结

本文提出 ParaREBEL，一种并行算法，通过利用动态规划子问题的超立方体结构，实现了贝叶斯网络中精确贝叶斯结构发现的最优空间和近似最优时间效率。该算法在最多 2048 个处理器上实现了可扩展性，并成功在 33 个变量的数据集中发现酿酒酵母交配素响应通路，展示了首个在大规模贝叶斯网络中精确计算所有边后验概率的实际解决方案。

ABSTRACT

Exact Bayesian structure discovery in Bayesian networks requires exponential time and space. Using dynamic programming (DP), the fastest known sequential algorithm computes the exact posterior probabilities of structural features in $O(2(d+1)n2^n)$ time and space, if the number of nodes (variables) in the Bayesian network is $n$ and the in-degree (the number of parents) per node is bounded by a constant $d$. Here we present a parallel algorithm capable of computing the exact posterior probabilities for all $n(n-1)$ edges with optimal parallel space efficiency and nearly optimal parallel time efficiency. That is, if $p=2^k$ processors are used, the run-time reduces to $O(5(d+1)n2^{n-k}+k(n-k)^d)$ and the space usage becomes $O(n2^{n-k})$ per processor. Our algorithm is based the observation that the subproblems in the sequential DP algorithm constitute a $n$-$D$ hypercube. We take a delicate way to coordinate the computation of correlated DP procedures such that large amount of data exchange is suppressed. Further, we develop parallel techniques for two variants of the well-known \emph{zeta transform}, which have applications outside the context of Bayesian networks. We demonstrate the capability of our algorithm on datasets with up to 33 variables and its scalability on up to 2048 processors. We apply our algorithm to a biological data set for discovering the yeast pheromone response pathways.

研究动机与目标

• 解决精确贝叶斯结构发现中贝叶斯网络的计算瓶颈，该问题存在指数级的时间和空间复杂度。
• 克服顺序动态规划算法受内存使用限制的局限，特别是对于超过 25 个变量的网络。
• 开发一种可扩展的并行算法，降低运行时间与每个处理器的内存使用量，同时保持对所有结构特征后验概率的精确计算。
• 实现对大型生物数据集中因果关系的实际发现，例如在结构学习至关重要的酿酒酵母交配素响应通路中。
• 设计一种方法，抑制并行进程之间的过度数据交换，并高效协调相关联的动态规划计算。

提出的方法

• 将贝叶斯结构发现的动态规划子问题表示为 n 维超立方体，以利用其固有的并行性。
• 提出一种新颖的协调策略，在相关联的 DP 过程之间转换时最小化进程间数据传输。
• 开发两种新的并行技术，用于计算 zeta 变换的变体，这些变体是算法效率的基础。
• 使用处理器数量 $ p = 2^k $，实现每个处理器的运行时间为 $ O(5(d+1)n2^{n-k} + k(n-k)^d) $，空间复杂度为 $ O(n2^{n-k}) $，实现近似最优的并行时间和最优的空间效率。
• 将该算法应用于在标准（结构模块化）先验下计算贝叶斯网络中所有 $ n(n-1) $ 条边的精确后验概率，避免了顺序模块化先验的限制。
• 采用混合方法实现该算法，结合共享内存并行和高效的内存管理，以减少对外部存储的依赖。

实验结果

研究问题

• RQ1 能否通过并行计算将精确贝叶斯结构发现扩展到更大规模的网络（例如 30 个以上变量）？
• RQ2 如何通过并行化有效降低结构发现中动态规划的指数级空间复杂度？
• RQ3 在并行环境中，如何最优地协调多个相关联的动态规划计算，以最小化通信开销？
• RQ4 该算法能否在精确贝叶斯结构发现中同时实现近似最优的并行时间和最优的空间效率？
• RQ5 在无先验领域约束的情况下，该算法在多大程度上能从未知的高维数据中恢复已知的生物调控通路？

主要发现

• 该算法在 2048 个核心上仅用 1542 秒即成功计算出 33 个变量生物数据集中所有 1056 条潜在边的精确后验概率，创下精确结构发现的新纪录。
• ParaREBEL 算法在 $ p = 2^k $ 个处理器下实现了 $ O(5(d+1)n2^{n-k} + k(n-k)^d) $ 的运行时间，表现出近似最优的并行时间效率。
• 每个处理器的内存使用量降低至 $ O(n2^{n-k}) $，实现了最优空间效率，这对扩展至超过 25 个变量至关重要。
• 基于后验概率 ≥ 0.1 的边构建的酿酒酵母交配素响应通路网络模型，形成一个具有 60 条边的有向无环图（DAG），并显示出生物相关变量的强聚类特性。
• 该网络结构与先前文献中已知的受限模型高度相似，表明基于后验概率的建模方法在捕捉真实生物关系方面优于贪心或模拟退火方法。
• 该算法在最多 2048 个处理器上表现出可扩展性，是首个具备可证明效率保证的精确贝叶斯结构发现实用并行解决方案。