[论文解读] Distributed-Memory Parallel Algorithms for Counting and Listing Triangles in Big Graphs

Shaikh Arifuzzaman, Maleq Khan+1 more|arXiv (Cornell University)|Jun 16, 2017

Complex Network Analysis Techniques参考文献 29被引用 4

一句话总结

本文提出两种基于MPI的共享内存并行算法，用于在包含高达100亿条边的海量图中进行精确的三角形计数和聚类系数计算。第一种算法采用重叠划分和负载均衡技术，实现高性能，可在16分钟内完成精确的三角形计数；第二种算法采用非重叠划分，以提高空间效率。两种算法均支持可扩展的三角形列举，并可通过边稀疏化实现近似计算。

ABSTRACT

Big graphs (networks) arising in numerous application areas pose significant challenges for graph analysts as these graphs grow to billions of nodes and edges and are prohibitively large to fit in the main memory. Finding the number of triangles in a graph is an important problem in the mining and analysis of graphs. In this paper, we present two efficient MPI-based distributed memory parallel algorithms for counting triangles in big graphs. The first algorithm employs overlapping partitioning and efficient load balancing schemes to provide a very fast parallel algorithm. The algorithm scales well to networks with billions of nodes and can compute the exact number of triangles in a network with 10 billion edges in 16 minutes. The second algorithm divides the network into non-overlapping partitions leading to a space-efficient algorithm. Our results on both artificial and real-world networks demonstrate a significant space saving with this algorithm. We also present a novel approach that reduces communication cost drastically leading the algorithm to both a space- and runtime-efficient algorithm. Further, we demonstrate how our algorithms can be used to list all triangles in a graph and compute clustering coefficients of nodes. Our algorithm can also be adapted to a parallel approximation algorithm using an edge sparsification method.

研究动机与目标

• 解决大规模图（尤其是包含数十亿条边）的分析挑战，这些图的规模超过单台节点的主存容量。
• 在分布式内存系统中，开发精确、可扩展且高效的并行算法，用于三角形计数与聚类系数计算。
• 通过有效的负载均衡和降低通信开销，在分布式环境中实现高性能。
• 支持精确计算与通过稀疏化实现的近似计算，以处理更大规模的网络。
• 将算法扩展至列出所有三角形，并计算节点级别的聚类系数，以支持详细的网络分析。

提出的方法

• 设计一种重叠划分方案并结合动态负载均衡，以最小化空闲时间并最大化三角形计数中的并行效率。
• 实现一种非重叠划分策略，以减少内存占用，提升大规模图处理中的空间效率。
• 集成一种新型通信减少技术，以最小化处理器间数据传输，提升运行时性能。
• 在并行框架内适配DOULION稀疏化方法，以支持更高精度的近似三角形计数。
• 将核心三角形计数算法扩展为可列出所有三角形，并通过聚合每个节点的三角形计数来计算局部聚类系数。
• 使用基于MPI的消息传递机制进行分布式内存执行，确保在高性能计算集群上的可移植性与可扩展性。

实验结果

研究问题

• RQ1 在分布式内存环境中，通过重叠划分与负载均衡，是否能够实现在百亿边图中精确三角形计数的高可扩展性与低运行时间？
• RQ2 在三角形计数中，非重叠划分与重叠划分在空间效率与性能方面有何对比？
• RQ3 在不牺牲准确性的前提下，分布式三角形计数中的通信开销能在多大程度上被降低？
• RQ4 所提出的算法是否能够高效扩展至列出所有三角形并计算节点级别的聚类系数？
• RQ5 将边稀疏化与分布式三角形计数相结合，在超大规模图中近似三角形计数方面效果如何？

主要发现

• 重叠划分算法在分布式系统上对一个包含100亿条边的图完成精确三角形计数的时间少于16分钟。
• 非重叠划分算法相比重叠方案实现了显著的空间节省，尤其适用于内存受限的环境。
• 通信减少技术显著提升了运行时间并减少了处理器间的数据传输，整体效率得到增强。
• 在LiveJournal和Twitter等真实网络中，算法表现出良好的强可扩展性与弱可扩展性，对合成图与真实图均展现出高性能。
• DOULION稀疏化方法的集成提升了并行环境下的近似精度，使更大规模图的可扩展分析成为可能。
• 扩展后的算法成功列出了所有三角形，并计算了局部聚类系数，支持细粒度的网络分析。