[论文解读] Fast generation of simple directed social network graphs with reciprocal edges and high clustering

Christoph Schweimer|arXiv (Cornell University)|Jun 1, 2022

Complex Network Analysis Techniques参考文献 21被引用 2

一句话总结

本文提出了一种快速、可扩展的方法，用于生成具有互惠边和高聚类性的有向社交网络图，通过使用基于配置模型的边连接策略替代边重连，改进了先前的模型。该方法在保持与真实Twitter关注者图几乎相同的拓扑特征和流行病传播动态的同时，实现了10倍的加速——将50,000个节点图的生成时间从3天缩短至4小时以内。

ABSTRACT

Online social networks have emerged as useful tools to communicate or share information and news on a daily basis. One of the most popular networks is Twitter, where users connect to each other via directed follower relationships. Researchers have studied Twitter follower graphs and described them with various topological features. Collecting Twitter data, especially crawling the followers of users, is a tedious and time-consuming process and the data needs to be treated carefully due to its sensitive nature, containing personal user information. We therefore aim at the fast generation of synthetic directed social network graphs with reciprocal edges and high clustering. Our proposed method is based on a previously developed model, but relies on less hyperparameters and has a significantly lower runtime. Results show that the method does not only replicate the crawled directed Twitter graphs well w.r.t. several topological features and the application of an epidemics spreading process, but that it is also highly scalable which allows the fast creation of bigger graphs that exhibit similar properties as real-world networks.

研究动机与目标

• 解决对快速、可扩展地生成真实有向社交网络图的需求，以避免昂贵且涉及隐私的数据收集。
• 克服先前模型中高运行时间的问题，特别是实现高聚类性时的边重连步骤。
• 保留关键的拓扑特征以及节点度之间的等级相关性，以确保合成图能紧密模拟真实网络（如Twitter）。
• 通过确保算法特性与真实数据一致，实现大规模合成网络上的信息或疾病传播过程的高效模拟。

提出的方法

• 使用卡方分布对每个节点的互惠边、入度和出度值进行采样，确保度之间的现实相关性。
• 使用配置模型构建边：根据采样得到的度数为节点分配stub，并直接连接，避免随机重连。
• 通过直接连接每个节点的新邻居，高效提升聚类系数，避免后续处理的重连步骤。
• 在边生成过程中禁止自环和多重边，以确保图的简洁性。
• 采用两步流程：首先采样度数，然后通过stub匹配形成边，计算效率高且具有确定性。
• 利用配置模型的结构保持准确的度数等级相关性，相比Chung-Lu方法提升了保真度。

实验结果

研究问题

• RQ1 是否能够通过更快的图生成方法保留真实有向社交网络的关键拓扑特征，如聚类性和度分布？
• RQ2 消除边重连步骤是否能显著降低运行时间，同时保持高聚类性和真实的网络结构？
• RQ3 与爬取的Twitter图相比，该方法生成的合成图在多大程度上复现了现实世界中的流行病传播动态？
• RQ4 与真实网络相比，合成图中入度、出度和互惠度之间的等级相关性（斯皮尔曼等级相关系数）保持得如何？
• RQ5 该方法能否扩展到生成大规模图（如100,000个节点），在性能和结构保真度方面与真实世界网络相当？

主要发现

• 该方法将50,000个节点图的生成时间从数天缩短至4小时以内，相比先前模型实现了10倍加速。
• 合成图复现了爬取的Twitter子图的关键拓扑特征，包括平均最短路径长度、直径和聚类系数，偏差极小。
• 在合成图的最大弱连通分量中，平均聚类系数为0.373（100,000个节点图），处于真实Twitter数据观察到的现实世界范围内。
• 入度、出度和互惠度之间的等级相关性（斯皮尔曼等级相关系数）在合成图中比先前模型更准确地保留，100,000个节点图的ρ1 = 0.598，ρ2 = 0.593，ρ3 = 0.502。
• 在合成图上运行的流行病传播模拟（离散SIR模型）与真实Twitter子图上的动态相似，证实了算法保真度。
• 该方法成功在18小时内生成了包含100,000个节点和2740万条边的图，展示了高可扩展性，适用于大规模模拟。