[论文解读] Finding Community Structure in Mega-scale Social Networks

Ken Wakita, Toshiyuki Tsurumi|ArXiv.org|Feb 8, 2007

Complex Network Analysis Techniques参考文献 16被引用 202

一句话总结

本文通过引入合并比率启发式方法，对CNM社区检测算法提出三种优化变体，以平衡社区合并过程，显著提升可扩展性和性能。最快变体在5分钟内处理了100万节点的网络，并可扩展至550万个节点——相比原始CNM算法，实现最高7倍的加速，且模块度有所提升。

ABSTRACT

Community analysis algorithm proposed by Clauset, Newman, and Moore (CNM algorithm) finds community structure in social networks. Unfortunately, CNM algorithm does not scale well and its use is practically limited to networks whose sizes are up to 500,000 nodes. The paper identifies that this inefficiency is caused from merging communities in unbalanced manner. The paper introduces three kinds of metrics (consolidation ratio) to control the process of community analysis trying to balance the sizes of the communities being merged. Three flavors of CNM algorithms are built incorporating those metrics. The proposed techniques are tested using data sets obtained from existing social networking service that hosts 5.5 million users. All the methods exhibit dramatic improvement of execution efficiency in comparison with the original CNM algorithm and shows high scalability. The fastest method processes a network with 1 million nodes in 5 minutes and a network with 4 million nodes in 35 minutes, respectively. Another one processes a network with 500,000 nodes in 50 minutes (7 times faster than the original algorithm), finds community structures that has improved modularity, and scales to a network with 5.5 million.

研究动机与目标

• 解决原始CNM算法可扩展性差的问题，该算法在超过50万个节点时因社区合并不平衡而性能下降。
• 通过引入促进分层聚类过程中社区平衡合并的度量指标，提升计算效率。
• 实现在此前因原始CNM算法无法处理而不可行的超大规模社交网络（最高达550万个节点）的社区检测。
• 评估不同启发式方法在计算速度、模块度质量与社区结构一致性之间的权衡。
• 在标准硬件上展示使用真实SNS数据进行社区分析的实际可行性。

提出的方法

• 引入‘合并比率’概念，作为衡量两个待合并社区平衡度的指标，定义为较小社区与较大社区大小的比值。
• 提出三种启发式方法——HE、HN和HE'，将合并比率与模块度增益结合，用于指导社区对的选择与合并。
• 修改原始CNM算法的贪心合并步骤，优先选择合并比率更高的社区对，以减少导致性能下降的不平衡合并。
• 将三种启发式方法实现为单线程Java程序，并在真实SNS数据集上进行评估，数据规模最高达550万个节点。
• 使用模块度作为主要指标，评估生成社区结构的质量，并与原始CNM算法进行比较。
• 通过执行时间、模块度趋势及不同网络规模下的社区大小分布，分析性能表现。

实验结果

研究问题

• RQ1 原始CNM算法中不均衡的社区合并如何限制其在大规模网络中的可扩展性？
• RQ2 引入合并比率启发式方法在多大程度上能提升社区检测算法的执行效率？
• RQ3 所提出的启发式方法是否能在显著降低运行时间的同时，保持或提升模块度？
• RQ4 不同启发式方法生成的社区结构在模块度和社区大小分布方面有何差异？
• RQ5 在标准硬件上，所提算法的可扩展性上限是多少？其性能随网络规模增加如何变化？

主要发现

• HE启发式方法在50万个节点数据集上相比原始CNM算法实现了7倍加速，处理时间从350分钟缩短至50分钟。
• HE启发式方法相比原始CNM算法将模块度提升了8%至11%，表明生成的社区结构质量更高。
• 最快变体在100万节点网络上仅用5分钟完成处理，在400万节点网络上耗时35分钟，展现出优异的性能可扩展性。
• HE'在计算早期阶段展现出最高的模块度提升，表明其适用于可提前终止的近似社区检测。
• 可扩展性分析表明，HE与HN在550万个节点以内接近线性加速，而HE'虽略有下降，但估计可处理高达1000万个节点。
• 所有启发式方法生成的社区结构具有相似特征：少数大型社区（>10,000人）和大量小型社区（<10人），中等规模社区极少。