[论文解读] Exploring Parallelism in Learning Belief Networks

T.-C. Chu, Yang Xiang|arXiv (Cornell University)|Feb 6, 2013

Bayesian Modeling and Causal Inference参考文献 8被引用 3

一句话总结

本文提出了一种并行算法来学习信念网络，通过将学习任务分解到多个处理器上，以克服多链接前瞻搜索的计算复杂性。通过实现负载均衡，并在大规模数据集上用快速内存访问替代缓慢的文件I/O，该方法在并行计算机系统上实现了显著的加速和效率提升。

ABSTRACT

It has been shown that a class of probabilistic domain models cannot be learned correctly by several existing algorithms which employ a single-link look ahead search. When a multi-link look ahead search is used, the computational complexity of the learning algorithm increases. We study how to use parallelism to tackle the increased complexity in learning such models and to speed up learning in large domains. An algorithm is proposed to decompose the learning task for parallel processing. A further task decomposition is used to balance load among processors and to increase the speed-up and efficiency. For learning from very large datasets, we present a regrouping of the available processors such that slow data access through file can be replaced by fast memory access. Our implementation in a parallel computer demonstrates the effectiveness of the algorithm.

研究动机与目标

• 解决在学习信念网络时多链接前瞻搜索的高计算复杂性问题。
• 通过基于内存的数据访问减少I/O瓶颈，实现在超大规模数据集上的高效学习。
• 通过优化处理器间负载均衡，最大化加速比和算法效率。
• 开发一种可扩展的并行框架，确保在学习概率图模型时的正确性。

提出的方法

• 将信念网络学习任务分解为并行子任务，以分发计算负载。
• 应用二级任务分解以平衡工作负载，增强处理器间的负载均衡。
• 对于大规模数据集，重新分组处理器，以更快的内存访问替代缓慢的基于文件的数据访问。
• 利用并行计算架构，在多个节点上同时执行学习过程。
• 在减少整体执行时间的同时，保持多链接前瞻搜索的正确性。

实验结果

研究问题

• RQ1 如何有效利用并行性，以降低信念网络学习中多链接前瞻搜索的计算成本？
• RQ2 何种任务分解策略能在分布式信念网络学习中最大化负载均衡和加速比？
• RQ3 在并行环境下，如何通过基于内存的数据访问缓解大规模学习中的I/O瓶颈？
• RQ4 所提出的并行算法在大规模数据集上对学习效率和可扩展性的提升程度如何？

主要发现

• 与串行方法相比，所提出的并行算法在信念网络学习中实现了显著的加速。
• 通过任务分解实现的负载均衡，提升了学习过程的效率和可扩展性。
• 用基于内存的访问替代文件I/O，降低了数据访问延迟，提升了大规模数据集上的性能。
• 即使在使用多链接前瞻搜索时，该算法仍能保持正确性，而这一点在单链接方法中并不总是可实现的。