[论文解读] Computing communities in large networks using random walks

Matthieu Latapy, Pascal Pons|arXiv (Cornell University)|Dec 14, 2004

Complex Network Analysis Techniques参考文献 22被引用 89

一句话总结

本文提出了一种基于随机游走的新型相似性度量方法，以高效检测大规模网络中的社区结构。通过利用短距离随机游走捕捉结构相似性，该方法实现了快速的凝聚聚类算法，在稀疏真实世界网络上运行时间复杂度为 O(n² log n)，在顶点数达 100,000 的图上，其准确性和可扩展性均优于以往方法。

ABSTRACT

Dense subgraphs of sparse graphs (communities), which appear in most real-world complex networks, play an important role in many contexts. Computing them however is generally expensive. We propose here a measure of similarities between vertices based on random walks which has several important advantages: it captures well the community structure in a network, it can be computed efficiently, it works at various scales, and it can be used in an agglomerative algorithm to compute efficiently the community structure of a network. We propose such an algorithm which runs in time O(mn^2) and space O(n^2) in the worst case, and in time O(n^2log n) and space O(n^2) in most real-world cases (n and m are respectively the number of vertices and edges in the input graph). Experimental evaluation shows that our algorithm surpasses previously proposed ones concerning the quality of the obtained community structures and that it stands among the best ones concerning the running time. This is very promising because our algorithm can be improved in several ways, which we sketch at the end of the paper.

研究动机与目标

• 解决在传统方法计算成本过高的大规模稀疏真实世界网络中检测社区结构的挑战。
• 开发一种不依赖谱方法或昂贵特征分解的顶点间相似性度量，以捕捉结构凝聚性和社区归属关系。
• 设计一种可扩展的分层凝聚聚类算法，能够检测多尺度社区结构，并支持在大规模图上高效计算。
• 在运行时间性能和检测到的社区质量方面，优于现有社区检测算法。

提出的方法

• 基于从一个顶点出发的随机游走，在固定步数内到达另一顶点的概率，定义顶点间的相似性度量。
• 使用随机游走的转移概率作为结构相似性的代理，其直觉是：游走更可能停留在连接紧密的社区内部。
• 构建一种分层聚类算法，基于随机游走相似性迭代合并最相似的顶点对，形成社区结构的树状图（dendrogram）。
• 通过固定数量的随机游走（例如 K=1000）进行近似，将时间复杂度优化为每个顶点 O(K(t + log K))。
• 通过将离散时间转移矩阵替换为矩阵指数，探索连续时间随机游走，实现非整数游走长度，提升灵活性。
• 将该方法应用于加权和无向网络，并讨论其向重叠社区和有向网络扩展的潜力。

实验结果

研究问题

• RQ1 基于随机游走的相似性度量能否有效捕捉大规模稀疏网络中的社区结构？
• RQ2 与现有社区检测算法（如 Girvan–Newman 和 Newman 的基于模块度的方法）相比，所提方法在性能和准确性方面表现如何？
• RQ3 所提算法的计算复杂度是多少？能否在拥有 100,000 个以上顶点的大规模网络上实现可扩展性？
• RQ4 当内部和外部边数平衡时，该方法在不同网络密度和社区规模下的表现如何，尤其是在内部密度较低的情况下？
• RQ5 该方法能否扩展以检测重叠社区，并处理有向网络？

主要发现

• 所提算法在最坏情况下时间复杂度为 O(mn²)，在真实世界稀疏网络中实际运行时间复杂度为 O(n² log n)，显著提升了可扩展性。
• 实验评估表明，该方法在社区检测质量上优于以往算法，包括文献 [5] 中的最先进方法，尤其在模块度和社区凝聚性方面表现更优。
• 即使在内部边和外部边数量平衡的情况下，该算法仍能成功检测出社区，表明其对低内部密度具有鲁棒性。
• 每个顶点使用 1000 次随机游走的近似方法在准确性和效率之间提供了良好平衡，估计误差随 O(1/√K) 缩放。
• 连续时间随机游走扩展支持非整数游走长度，提供了更大的灵活性，并可能优于离散时间版本的性能。
• 该方法可直接应用于加权网络，并在检测重叠社区方面展现出潜力，尽管这仍是未来工作的开放方向。