[论文解读] Fast Generation of Large Scale Social Networks with Clustering

Joseph J. Pfeiffer, Timothy La Fond+2 more|arXiv (Cornell University)|Feb 22, 2012

Complex Network Analysis Techniques参考文献 16被引用 8

一句话总结

本文提出Transitive Chung Lu（TCL）模型，作为Chung-Lu随机图模型的扩展，通过引入传递边来生成具有现实聚类特性的大规模社交网络，同时保持原始度分布。通过引入一个用于传递边形成的参数，TCL实现在线性时间内快速学习与生成，其在匹配现实网络特征（包括度分布、聚类系数和跳数图）方面优于Chung-Lu和Kronecker模型。

ABSTRACT

A key challenge within the social network literature is the problem of network generation - that is, how can we create synthetic networks that match characteristics traditionally found in most real world networks? Important characteristics that are present in social networks include a power law degree distribution, small diameter and large amounts of clustering; however, most current network generators, such as the Chung Lu and Kronecker models, largely ignore the clustering present in a graph and choose to focus on preserving other network statistics, such as the power law distribution. Models such as the exponential random graph model have a transitivity parameter, but are computationally difficult to learn, making scaling to large real world networks intractable. In this work, we propose an extension to the Chung Lu ran- dom graph model, the Transitive Chung Lu (TCL) model, which incorporates the notion of a random transitive edge. That is, with some probability it will choose to connect to a node exactly two hops away, having been introduced to a 'friend of a friend'. In all other cases it will follow the standard Chung Lu model, selecting a 'random surfer' from anywhere in the graph according to the given invariant distribution. We prove TCL's expected degree distribution is equal to the degree distribution of the original graph, while being able to capture the clustering present in the network. The single parameter required by our model can be learned in seconds on graphs with millions of edges, while networks can be generated in time that is linear in the number of edges. We demonstrate the performance TCL on four real- world social networks, including an email dataset with hundreds of thousands of nodes and millions of edges, showing TCL generates graphs that match the degree distribution, clustering coefficients and hop plots of the original networks.

研究动机与目标

• 解决现有网络生成器在捕捉大规模社交网络中聚类特性方面的局限性。
• 通过引入传递边形成机制扩展Chung-Lu模型，以在不牺牲可扩展性的前提下提升聚类表示能力。
• 开发一种学习算法，可在数秒内估计出包含数百万条边的图的传递性参数。
• 生成的合成网络在度分布、聚类系数和跳数图方面与真实世界网络高度匹配。
• 证明TCL模型在增强聚类保真度的同时，仍保持小直径和连通性。

提出的方法

• 通过引入一个‘随机三角形’参数扩展Chung-Lu模型，使边能以给定概率通过传递闭包（朋友的朋友）方式形成。
• 通过改进的采样过程纠正朴素快速Chung-Lu生成算法中的边碰撞偏差。
• 使用期望最大化（EM）算法从观测网络中估计传递性参数，实现快速参数学习。
• 在O(M)时间内生成网络，其中M为边数，效率与原始Chung-Lu模型相当。
• 采用混合采样策略：以概率p，模型沿传递边追踪以闭合三角形；否则，按不变分布选择节点（即随机浏览者模型）。
• 将模型应用于Epinions、Facebook、PurdueEmail和Gnutella30等真实网络，以验证其在多样化网络结构下的性能表现。

实验结果

研究问题

• RQ1 可扩展的网络生成模型是否能在保持度分布的同时显著改善聚类表示？
• RQ2 如何在不降低生成效率的前提下，将传递边形成机制整合进Chung-Lu模型？
• RQ3 引入单一传递性参数对合成网络生成精度有何影响？
• RQ4 TCL模型在复制聚类和跳数图方面与现有模型（如Chung-Lu和Kronecker乘积图模型）相比表现如何？
• RQ5 对于包含数百万条边的大规模网络，传递性参数是否能在数秒内高效学习？

主要发现

• TCL模型精确保持了原始网络的期望度分布，与Chung-Lu模型的理论特性完全一致。
• TCL模型生成的网络在聚类系数分布上与真实世界网络高度一致，而Chung-Lu和Kronecker模型则无法再现聚类特性。
• TCL生成网络的跳数图与原始网络及标准Chung-Lu模型几乎无法区分，表明其在连通性或直径方面无性能退化。
• TCL的参数估计在包含数百万条边的图上仅需数秒，而Kronecker乘积图模型则需数小时。
• 在Epinions、Facebook、PurdueEmail和Gnutella30这四个真实网络上，TCL模型在匹配度分布、聚类和跳数图方面均优于Chung-Lu和Kronecker模型。
• TCL模型成功捕捉了不同聚类水平网络的聚类行为，包括聚类极低的网络（如Gnutella30），展现出对各类网络类型的鲁棒性。