[论文解读] Compression and Sieve: Reducing Communication in Parallel Breadth First Search on Distributed Memory Systems

Huiwei Lv, Guangming Tan+2 more|arXiv (Cornell University)|Aug 28, 2012

Algorithms and Data Compression参考文献 28被引用 8

一句话总结

本文通过结合消息压缩与一种利用分布式交叉目录的新颖筛除技术，提出了一种面向分布式内存系统的通信优化并行BFS。通过压缩前沿位图并利用筛除机制消除冗余消息，该方法将通信时间减少了79.0%，在6,144核集群上相比Graph500基线实现了2.2倍的加速，达到12.1 GTEPS。

ABSTRACT

For parallel breadth first search (BFS) algorithm on large-scale distributed memory systems, communication often costs significantly more than arithmetic and limits the scalability of the algorithm. In this paper we sufficiently reduce the communication cost in distributed BFS by compressing and sieving the messages. First, we leverage a bitmap compression algorithm to reduce the size of messages before communication. Second, we propose a novel distributed directory algorithm, cross directory, to sieve the redundant data in messages. Experiments on a 6,144-core SMP cluster show our algorithm outperforms the baseline implementation in Graph500 by 2.2 times, reduces its communication time by 79.0%, and achieves a performance rate of 12.1 GTEPS (billion edge visits per second)

研究动机与目标

• 为解决在共享内存系统中大规模分布式BFS因通信开销过高而限制可扩展性的问题。
• 减少BFS遍历过程中交换的消息大小，特别是前沿数据，以最小化通信开销。
• 通过优化消息格式与传输冗余性，提升分布式BFS的性能。
• 在大规模真实图工作负载上评估压缩与筛除技术的有效性。

提出的方法

• 对前沿集合应用位图压缩，以在通信前减小消息大小。
• 引入一种名为“交叉目录”的新型分布式目录，用于在传输前检测并消除冗余消息。
• 使用一种基于交叉目录的筛除机制，过滤掉处理器间重复或不必要的消息。
• 评估多种压缩算法（如Zlib、位级压缩）以识别位图数据在空间与时间开销之间的最优权衡。
• 在6,144核SMP集群上实现优化后的BFS，以测量性能与通信减少效果。
• 将压缩与筛除技术以流水线方式结合：先筛除，再压缩，以最大化通信减少效果。

实验结果

研究问题

• RQ1 基于位图的消息压缩在减少分布式BFS通信量方面效果如何？
• RQ2 分布式筛除机制在多大程度上可消除冗余消息并进一步降低通信开销？
• RQ3 压缩与筛除技术的联合影响对大规模BFS的端到端通信时间与性能有何影响？
• RQ4 不同压缩算法在BFS前沿数据上的压缩比与运行时开销方面表现如何比较？
• RQ5 所提出的优化技术能否与现有优化技术（如二维图划分）有效结合？

主要发现

• 仅使用所提出的压缩技术即可将通信时间减少52.4%，相比基线性能提升1.7倍。
• 利用分布式交叉目录的筛除技术可额外将通信时间减少55.9%，性能提升1.3倍。
• 压缩与筛除联合使用的方法相比Graph500基线，总通信时间减少79.0%。
• 优化后的算法在6,144核集群上实现了12.1 GTEPS（每秒十亿条边访问）的性能速率。
• Zlib因压缩比差且运行时开销高，被证明不适合用于位图压缩。
• 空间-时间权衡分析表明，位级压缩在大规模BFS工作负载中提供了最佳平衡。