[论文解读] Computing communities in large networks using random walks (long version)

Pascal Pons, Matthieu Latapy|ArXiv.org|Dec 12, 2005

Complex Network Analysis Techniques参考文献 41被引用 117

一句话总结

本文提出 Walktrap 算法，一种利用随机游走测量顶点相似性的新型社区检测方法，可有效识别大规模网络中的社区结构。该方法利用随机游走倾向于停留在密集连接区域的特性，在稀疏现实世界网络中以 O(n² log n) 时间复杂度高效计算社区结构，其在模块度质量与计算效率方面均优于以往方法。

ABSTRACT

Dense subgraphs of sparse graphs (communities), which appear in most real-world complex networks, play an important role in many contexts. Computing them however is generally expensive. We propose here a measure of similarities between vertices based on random walks which has several important advantages: it captures well the community structure in a network, it can be computed efficiently, and it can be used in an agglomerative algorithm to compute efficiently the community structure of a network. We propose such an algorithm, called Walktrap, which runs in time O(mn^2) and space O(n^2) in the worst case, and in time O(n^2log n) and space O(n^2) in most real-world cases (n and m are respectively the number of vertices and edges in the input graph). Extensive comparison tests show that our algorithm surpasses previously proposed ones concerning the quality of the obtained community structures and that it stands among the best ones concerning the running time.

研究动机与目标

• 开发一种高效且准确的方法，用于检测大规模、稀疏的现实世界网络中的社区结构。
• 解决现有社区检测算法需预设社区数量或计算复杂度过高的局限性。
• 设计一种基于随机游走的相似性度量方法，以捕捉社区内部的结构凝聚力。
• 设计一种分层聚合算法，利用该相似性度量实现可扩展的社区检测。
• 在多样化的真实世界网络上，基于模块度与运行时间，评估该方法与前沿算法的性能表现。

提出的方法

• 基于从每个顶点出发的独立随机游走，在给定步数内相遇的概率，定义顶点之间的相似性度量。
• 将该相似性度量用作距离度量，指导凝聚聚类，每一步合并最相似的顶点或社区。
• 构建树状图（dendrogram）以表示分层社区结构，可任意截断以获得划分结果。
• 实现 Walktrap 算法，最坏情况时间复杂度为 O(mn²)，但在实际中为 O(n² log n)，因真实世界网络中树状图高度 H 较小。
• 通过限制最大游走长度 t（例如 t=2 或 t=5）优化算法，以平衡准确度与效率。
• 将该方法集成至可扩展框架中，支持加权网络，并可在未来工作扩展至重叠社区或有向图。

实验结果

研究问题

• RQ1 基于随机游走的相似性度量能否有效捕捉大规模、稀疏网络中的社区结构？
• RQ2 Walktrap 算法在模块度与运行效率方面相较于现有社区检测方法表现如何？
• RQ3 游走长度 t 对检测到的社区结构质量与性能有何影响？
• RQ4 该算法在包含数百万个节点的大规模网络上可扩展到何种程度？其内存限制是什么？
• RQ5 随机游走相似性度量能否推广至有向或加权网络？需要进行哪些修改？

主要发现

• Walktrap 在真实世界网络中实现了高模块度，其在网页图（www）上的模块度得分为 0.91，在 arXiv 合作网络上为 0.76。
• 由于树状图高度 H 较小，Walktrap 在大多数真实世界网络中运行时间为 O(n² log n)，适用于大规模应用。
• 在除一个网络外的所有测试网络中，Walktrap 的模块度质量优于 Girvan–Newman、Donetti–Muñoz 和 Fast Modularity 算法，仅在其中一个网络中表现相当。
• 在最大网络（www，159,683 个节点）上，Walktrap 用时 5,770 秒（约 96 分钟）计算出划分结果，而 Girvan–Newman 超过 40,000 秒，因此不可行。
• 该方法在多种网络类型（包括社交、生物与技术网络）中均表现稳健，对小型与大型图均保持一致性能。
• 该算法可直接应用于加权网络，其向有向网络的扩展被识别为未来工作的有前景方向。