[论文解读] Empirical Comparison of Algorithms for Network Community Detection

Jure Leskovec, Kevin Lang+1 more|arXiv (Cornell University)|Apr 20, 2010

Complex Network Analysis Techniques参考文献 28被引用 104

一句话总结

本文通过12种社区质量目标函数和8类算法对40多个现实网络进行了全面的经验比较，揭示了社区检测方法中的系统性偏差。研究发现，按规模优化可暴露非显而易见的规模依赖性行为，且对诸如导通率等指标的激进优化常产生反直觉、连接性差的聚类，凸显了在近似社区检测算法中引入正则化的重要性。

ABSTRACT

Detecting clusters or communities in large real-world graphs such as large social or information networks is a problem of considerable interest. In practice, one typically chooses an objective function that captures the intuition of a network cluster as set of nodes with better internal connectivity than external connectivity, and then one applies approximation algorithms or heuristics to extract sets of nodes that are related to the objective function and that "look like" good communities for the application of interest. In this paper, we explore a range of network community detection methods in order to compare them and to understand their relative performance and the systematic biases in the clusters they identify. We evaluate several common objective functions that are used to formalize the notion of a network community, and we examine several different classes of approximation algorithms that aim to optimize such objective functions. In addition, rather than simply fixing an objective and asking for an approximation to the best cluster of any size, we consider a size-resolved version of the optimization problem. Considering community quality as a function of its size provides a much finer lens with which to examine community detection algorithms, since objective functions and approximation algorithms often have non-obvious size-dependent behavior.

研究动机与目标

• 理解社区检测算法在具有复杂拓扑结构的大规模真实网络上的结构性偏差与性能差异。
• 评估目标函数与近似算法如何系统性地偏好某些聚类类型（例如紧凑型与分离型）而非其他类型。
• 使用按规模优化框架，研究聚类规模对社区质量度量与算法行为的影响。
• 评估在激进优化下，模块度和导通率等常用度量是否产生有意义的社区或人为构造的聚类。
• 探讨近似算法是否引入类似正则化的效果，从而在次优解的前提下提升可解释性。

提出的方法

• 研究评估了40多个具有不同结构特征（包括稀疏性、重尾度分布和小直径）的真实网络。
• 在12项目标函数（如导通率、模块度和比例切割）上应用了8类算法（包括谱方法、基于流的方法、贪心算法、基于模块度的方法等）。
• 采用按规模优化框架，为每种可能的聚类规模寻找最佳社区，从而实现对规模依赖性行为的分析。
• 通过谱方法和半定规划（SDP）松弛，计算导通率的理论下界，以评估算法性能。
• 通过经验评估比较不同网络中聚类的质量，重点关注紧凑性、分离度和内部连通性。
• 分析涵盖合成网络与真实网络数据，结果通过导通率比值和聚类统计量进行可视化与量化。

实验结果

研究问题

• RQ1 不同社区检测算法在广泛的真实网络拓扑结构下表现如何？
• RQ2 目标函数与近似算法在识别的社区中引入了哪些系统性偏差？
• RQ3 聚类规模如何影响检测到的社区的质量与可解释性？
• RQ4 在优化下，模块度和导通率等常用度量在多大程度上产生有意义的社区或人为构造的聚类？
• RQ5 社区检测中的近似计算在多大程度上可被视为一种正则化形式，从而提升可解释性？

主要发现

• 对导通率的激进优化常产生不连通或几乎不连通的聚类，缺乏直观的社区结构，表明近似算法存在系统性偏差。
• 随着网络规模增大，SDP下界与谱下界在导通率上的比值显著上升，表明大规模网络中的优质聚类通常较小且高度分离。
• 模块度与导通率表现出定性不同的行为：尽管模块度偏好小聚类，但导通率优化即使在导通率值较低时，也可能导致较差的内部连通性。
• 基于谱的方法（如局部谱方法）倾向于发现紧凑且高度连通的聚类，而基于流的方法（如Metis+）则偏好分离度更好但可能凝聚力较差的社区。
• 按规模分析揭示了目标函数与算法中非显而易见的规模依赖性行为，表明最优聚类规模因网络和度量而异。
• 近似算法由于稀疏性，引入了类似正则化的效果，即使在原始目标函数上并非最优，也倾向于产生紧凑且可解释的社区。