[论文解读] Logarithmic Time Parallel Bayesian Inference

David M. Pennock|arXiv (Cornell University)|Jan 30, 2013

Bayesian Modeling and Causal Inference参考文献 23被引用 41

一句话总结

该论文提出了一种在并行随机存取机上实现贝叶斯网络精确贝叶斯推断的并行算法，其时间复杂度为对数级。对于具有 n 个变量和常数个证据变量的链树网络，该算法在 n 个处理器上以 O(log n) 时间运行；对于一般网络，其时间复杂度为 O(r^{3w} log n)，使用 n 个处理器，或为 O(w log n)，使用 r^{3w}n 个处理器，其中 r 为最大变量取值范围，w 为道德化和三角化后的诱导宽度。

ABSTRACT

I present a parallel algorithm for exact probabilistic inference in Bayesian networks. For polytree networks with n variables, the worst-case time complexity is O(log n) on a CREW PRAM (concurrent-read, exclusive-write parallel random-access machine) with n processors, for any constant number of evidence variables. For arbitrary networks, the time complexity is O(r^{3w}*log n) for n processors, or O(w*log n) for r^{3w}*n processors, where r is the maximum range of any variable, and w is the induced width (the maximum clique size), after moralizing and triangulating the network.

研究动机与目标

• 开发一种并行算法，实现在贝叶斯网络中精确贝叶斯推断的对数时间复杂度。
• 通过利用并行性，解决大规模贝叶斯网络中精确推断的计算不可行性问题。
• 在并行执行模型下，优化链树结构和一般贝叶斯网络的推断性能。
• 通过利用结构特性（如网络变换后的诱导宽度和变量取值范围）来最小化时间复杂度。
• 证明在 CREW PRAM 上，使用与网络规模成比例的处理器数量，可以实现对数时间内的精确推断。

提出的方法

• 通过道德化和三角化变换贝叶斯网络，以计算诱导宽度 w，该值决定了最大团的大小。
• 采用基于 CREW PRAM（并发读取、独占写入）的并行计算模型，以支持同时访问和独占更新。
• 在三角化网络的联结树表示上使用动态规划，以并行方式计算条件概率。
• 应用分治策略，将势函数的计算分配给多个处理器，从而减少依赖链的深度。
• 利用证据变量数量为常数的特性，限制链树情况下复杂度的增长。
• 通过将操作组织为对数深度的计算树，使顺序步骤的数量对 n（变量数量）呈对数关系。

实验结果

研究问题

• RQ1 能否在并行计算环境下，以对数时间完成贝叶斯网络中的精确贝叶斯推断？
• RQ2 在使用 n 个处理器的并行模型下，链树结构贝叶斯网络的精确推断时间复杂度是多少？
• RQ3 诱导宽度和变量取值范围如何影响一般贝叶斯网络中并行推断的时间复杂度？
• RQ4 该算法能否在并行机器上实现子线性时间复杂度的同时保持精确推断？
• RQ5 对于一般贝叶斯网络，处理器数量与时间复杂度之间存在何种权衡？

主要发现

• 对于具有 n 个变量和常数个证据变量的链树网络，该算法在 n 个处理器的 CREW PRAM 上实现了 O(log n) 的时间复杂度。
• 对于一般贝叶斯网络，当使用 n 个处理器时，时间复杂度为 O(r^{3w} log n)，其中 r 为最大变量取值范围，w 为诱导宽度。
• 当使用 r^{3w}n 个处理器时，时间复杂度降低至 O(w log n)，表明处理器数量与运行时间之间存在权衡关系。
• 该算法通过利用道德化和三角化后导出的联结树结构，保持了精确推断。
• 结果表明，精确推断可通过并行化实现对数时间，相较于串行方法显著提升了可扩展性。
• 在给定的并行模型下，该方法在时间复杂度上达到最优，因为对数深度与该类问题的理论下限一致。