[论文解读] High-Performance Massive Subgraph Counting using Pipelined Adaptive-Group Communication

Langshi Chen, Bo Peng+5 more|arXiv (Cornell University)|Apr 25, 2018

Graph Theory and Algorithms参考文献 24被引用 3

一句话总结

本文提出了一种高性能、流水线化的自适应分组通信框架，用于使用染色技术进行大规模子图计数，实现了在分布式系统中的高效并行化。通过集成流水线通信、细粒度任务划分以及内存优化的中间数据处理，该方法在大规模模板（12–15个顶点）和十亿条边的图上，相较于最先进的MPI-Fascia，实现了5倍的加速和峰值内存使用量降低2倍。

ABSTRACT

Subgraph counting aims to count the number of occurrences of a subgraph T (aka as a template) in a given graph G. The basic problem has found applications in diverse domains. The problem is known to be computationally challenging - the complexity grows both as a function of T and G. Recent applications have motivated solving such problems on massive networks with billions of vertices. In this chapter, we study the subgraph counting problem from a parallel computing perspective. We discuss efficient parallel algorithms for approximately resolving subgraph counting problems by using the color-coding technique. We then present several system-level strategies to substantially improve the overall performance of the algorithm in massive subgraph counting problems. We propose: 1) a novel pipelined Adaptive-Group communication pattern to improve inter-node scalability, 2) a fine-grained pipeline design to effectively reduce the memory space of intermediate results, 3) partitioning neighbor lists of subgraph vertices to achieve better thread concurrency and workload balance. Experimentation on an Intel Xeon E5 cluster shows that our implementation achieves 5x speedup of performance compared to the state-of-the-art work while reduces the peak memory utilization by a factor of 2 on large templates of 12 to 15 vertices and input graphs of 2 to 5 billions of edges.

研究动机与目标

• 解决现有并行子图计数工具在具有复杂、高顶点模板的大规模图上的可扩展性限制。
• 克服在子图计数过程中，不规则稀疏图工作负载下的通信瓶颈、负载不平衡和高内存使用问题。
• 实现在十亿条边图上对最多15个顶点的树模板进行高效的基于染色技术的并行子图计数。
• 降低分布式子图计数工作负载中的峰值内存使用量，并提高节点间通信效率。

提出的方法

• 提出一种新颖的流水线化自适应分组通信模式，通过交错计算与通信来减少空闲时间，提升节点间可扩展性。
• 采用邻居列表的细粒度任务划分，以平衡每个节点内线程级的工作负载，缓解负载不平衡问题。
• 通过重叠流水线阶段的中间数据划分，减少峰值内存使用量，方法是切分并重叠数据处理。
• 利用Harp-DAAL框架根据模板大小动态切换通信模式，适应不同的计算-通信比例。
• 采用染色技术进行近似子图计数，聚焦于树模板（树小构件），并结合优化的数据结构与并行执行模型。
• 实现基于数据驱动的流水线设计，使计算与通信阶段之间实现连续数据流，最大限度减少空闲周期。

实验结果

研究问题

• RQ1 在计算-通信比例较高的不规则稀疏图中，如何最小化分布式子图计数的通信开销？
• RQ2 在处理稀疏不规则图数据时，哪些技术能有效平衡节点内线程的工作负载？
• RQ3 在使用大模板（12–15个顶点）和十亿条边图进行大规模子图计数时，如何降低峰值内存使用量？
• RQ4 流水线化、自适应通信模式在子图计数中能多大程度上提升可扩展性和性能，超越现有MPI工具的限制？
• RQ5 混合通信与计算流水线能否在真实大规模图上扩展至15个顶点模板的同时，保持高效率和低内存使用？

主要发现

• 所提出的Harp-DAAL AdaptiveLB实现相较于最先进的MPI-Fascia，在Twitter图（20亿条边）上对大模板（u12-2）实现了最高5倍的加速。
• 对于12–15个顶点的模板，峰值内存使用量相比MPI-Fascia降低了2倍，使系统可在120 GB内存节点上运行。
• 在Friendster图（66亿个顶点，500亿条边）上，系统成功扩展至12个顶点模板，而MPI-Fascia因内存限制无法处理。
• 得益于自适应分组通信和流水线技术，通信开销从MPI-Fascia在u10-2时的80%降低至Harp-DAAL的约40%。
• 从8个节点到16个节点的强可扩展性测试显示，Harp-DAAL AdaptiveLB的加速效果优于MPI-Fascia，尤其在大模板下表现更优。
• 对于高度偏斜的数据集，执行时间的性能提升最高可达9倍，表明对数据不规则性的鲁棒性。