[论文解读] Parallel Generation of Massive Scale-Free Graphs

Andy Yoo, K.W. Henderson|arXiv (Cornell University)|Mar 18, 2010

Complex Network Analysis Techniques参考文献 29被引用 15

一句话总结

本文提出了两种高度可扩展的并行算法——并行Barabasi-Albert（PBA）和并行Kronecker（PK）——用于生成包含数十亿个顶点和边的大规模无标度图。通过最小化进程间通信并利用优先连接机制与Kronecker矩阵乘法，该方法实现了高并行性，在不到13秒内生成了包含10亿个顶点、50亿条边的图，是迄今为止报道的最大规模合成无标度图。

ABSTRACT

One of the biggest huddles faced by researchers studying algorithms for massive graphs is the lack of large input graphs that are essential for the development and test of the graph algorithms. This paper proposes two efficient and highly scalable parallel graph generation algorithms that can produce massive realistic graphs to address this issue. The algorithms, designed to achieve high degree of parallelism by minimizing inter-processor communications, are two of the fastest graph generators which are capable of generating scale-free graphs with billions of vertices and edges. The synthetic graphs generated by the proposed methods possess the most common properties of real complex networks such as power-law degree distribution, small-worldness, and communities-within-communities. Scalability was tested on a large cluster at Lawrence Livermore National Laboratory. In the experiment, we were able to generate a graph with 1 billion vertices and 5 billion edges in less than 13 seconds. To the best of our knowledge, this is the largest synthetic scale-free graph reported in the literature.

研究动机与目标

• 解决测试和开发大规模图算法时缺乏大规模、真实感输入图的关键问题。
• 克服传统串行图生成模型无法扩展至数十亿个顶点和边的局限性。
• 设计一种最小化进程间通信的并行图生成算法，以实现在分布式系统中的高可扩展性。
• 生成能够复现真实复杂网络关键特性的合成图，包括幂律度分布、小世界性以及社区内的社区结构。
• 证明在实际时间约束下，生成迄今最大规模合成无标度图的可行性。

提出的方法

• 提出并行Barabasi-Albert（PBA）方法，采用两阶段优先连接机制，以自底向上的方式迭代构建无标度图，实现高并行性。
• 开发并行Kronecker（PK）方法，通过种子图的Kronecker矩阵乘法递归构建图，实现极易并行的计算。
• 设计两种算法时均最小化进程间通信，确保在大规模分布式集群中具备高可扩展性。
• 在PK方法中使用小尺寸种子图（如2×2或3×3）通过递归Kronecker积展开生成大规模图。
• 应用采样技术估算路径长度和直径，降低性能评估期间的计算开销。
• 利用邻接矩阵表示法可视化社区结构，以分析生成图的模块性和自相似性。

实验结果

研究问题

• RQ1 能否设计出可高效扩展至数十亿个顶点和边、同时最小化进程间通信的并行图生成算法？
• RQ2 PBA和PK方法生成的合成图是否复现了真实复杂网络的关键结构特性，如幂律度分布和小世界性？
• RQ3 种子图的选择如何影响基于Kronecker的图生成方法的结构特性和可扩展性？
• RQ4 所提出的并行算法能否比现有串行模型生成图更快？在大规模集群上可达到的峰值生成速率是多少？
• RQ5 PBA和PK方法在多大程度上能生成具有类似真实网络的分层社区结构的图？

主要发现

• 所提出的并行图生成器在劳伦斯利弗莫尔国家实验室的大规模集群上，实现了超过10亿个顶点和50亿条边的峰值生成速率，耗时不足13秒。
• PBA和PK方法生成的合成图均表现出幂律度分布，证实了其无标度特性。
• PBA和PK图均表现出小世界特性，平均路径长度分别为6.26和3.20，直径分别为12和5，表明节点间典型距离较短。
• PK图由于Kronecker矩阵乘法的分形特性，表现出更规则、自相似的社区结构；而PBA图的社区结构虽不够规则，但仍可识别。
• PK方法因采用极易并行的设计而实现了更高的并行度；而PBA方法在控制图属性（如顶点度分布）方面具有更高的可配置性。
• 尽管PBA方法比PK方法更慢，但其在生成具有特定结构特征图方面表现出更高的灵活性。