[论文解读] Darwini: Generating realistic large-scale social graphs

Sergey Edunov, Dionysios Logothetis+3 more|arXiv (Cornell University)|Oct 3, 2016

Complex Network Analysis Techniques参考文献 23被引用 15

一句话总结

Darwini 是一种可扩展的开源合成图生成器，通过使用 Apache Giraph 以分块、基于顶点的方式构建图，能够准确复制真实世界社交网络的关键结构特性——特别是度分布、局部聚类系数和联合度分布。它在 200 个节点的集群上，用不到 7 小时生成了包含万亿条边的图，在保真度和可扩展性方面优于现有模型。

ABSTRACT

Synthetic graph generators facilitate research in graph algorithms and processing systems by providing access to data, for instance, graphs resembling social networks, while circumventing privacy and security concerns. Nevertheless, their practical value lies in their ability to capture important metrics of real graphs, such as degree distribution and clustering properties. Graph generators must also be able to produce such graphs at the scale of real-world industry graphs, that is, hundreds of billions or trillions of edges. In this paper, we propose Darwini, a graph generator that captures a number of core characteristics of real graphs. Importantly, given a source graph, it can reproduce the degree distribution and, unlike existing approaches, the local clustering coefficient and joint-degree distributions. Furthermore, Darwini maintains metrics such node PageRank, eigenvalues and the K-core decomposition of a source graph. Comparing Darwini with state-of-the-art generative models, we show that it can reproduce these characteristics more accurately. Finally, we provide an open source implementation of our approach on the vertex-centric Apache Giraph model that allows us to create synthetic graphs with one trillion edges.

研究动机与目标

• 解决缺乏可扩展、高保真度的合成图生成器的问题，这些生成器能够准确再现真实社交网络的核心结构度量。
• 克服现有模型的局限性，这些模型无法捕捉细粒度的聚类系数分布和联合度分布。
• 在保持结构保真度并最小化手动参数调优的前提下，实现大规模图生成（最高达万亿条边）。
• 通过提供镜像真实世界工业规模图（如 Facebook 图）的合成图，支持系统级研究和基准测试。
• 通过提供保留关键网络特性的公开合成数据集，促进隐私保护型研究。

提出的方法

• Darwini 通过连接无标度子图的方式，以分块方式构建图，受 BTER 模型启发，但对聚类系数具有更强的控制能力。
• 它显式建模并保留源图的联合度分布，从而更准确地表示局部网络结构。
• 该算法采用基于 Apache Giraph 的顶点中心方法，实现在商品集群上的分布式、线性可扩展生成。
• 图生成基于源图中已存在的社区结构进行任务分解，从而实现高效的并行处理和内存管理。
• 通过精心的结构映射，该方法保持了原始图的关键度量，如 PageRank、特征值和 K-core 分解。
• 它通过直接从源图推导分布，避免了昂贵的模型拟合或手动参数调优。

实验结果

研究问题

• RQ1 合成图生成器能否准确再现真实社交网络的度分布、聚类系数分布和联合度分布？
• RQ2 可扩展的分布式图生成器在生成万亿条边图时，能否良好保持 PageRank 和 K-core 分解等全局度量？
• RQ3 所提出的基于分块的构建方法是否如实际观察所示，在图大小和集群规模上均实现线性扩展？
• RQ4 与 Kronecker、BTER 和 DK-graphs 等最先进模型相比，Darwini 在大规模图上的保真度和性能表现如何？
• RQ5 该生成器能否生成适用于磁盘存储或主内存图处理系统容量规划和基准测试的合成图？

主要发现

• Darwini 在 200 个节点的集群上，约 7 小时内成功生成了包含一万亿条边的合成图，展示了其在图大小和集群规模上的线性可扩展性。
• 在子图上验证后，生成的图与原始 Facebook 社交图在度分布、聚类系数分布和联合度分布方面高度匹配。
• 与 Kronecker 或 BTER 模型不同，Darwini 准确捕捉了联合度分布，避免了先前方法中观察到的偏斜。
• Darwini 保持了关键全局度量，如 PageRank、特征值和 K-core 分解，确保了结构保真度不仅限于局部属性。
• 基于 Apache Giraph 的开源实现使得其在商品集群上易于部署和使用，支持可复现性和大规模实验。
• 该方法在捕捉真实网络结构方面优于现有模型，尤其在聚类和度相关性方面表现更优，同时避免了拟合或调优带来的高开销。