[论文解读] Defining and Evaluating Network Communities based on Ground-truth

Jaewon Yang, Jure Leskovec|arXiv (Cornell University)|May 28, 2012

Complex Network Analysis Techniques参考文献 24被引用 5

一句话总结

本文提出了一套大规模、基于真实标签的网络社区检测评估框架，使用230个现实网络，其中节点明确归属于社区（例如社交群体、产品类别）。该框架评估了13种结构化社区定义，发现导通率（Conductance）和三元组参与率（Triad-participation-ratio）表现始终优于其他方法，同时提出一种可扩展的、无需参数调优的局部谱方法，在基于种子的社区检测中相比最先进基线实现了30%的相对性能提升。

ABSTRACT

Nodes in real-world networks organize into densely linked communities where edges appear with high concentration among the members of the community. Identifying such communities of nodes has proven to be a challenging task mainly due to a plethora of definitions of a community, intractability of algorithms, issues with evaluation and the lack of a reliable gold-standard ground-truth. In this paper we study a set of 230 large real-world social, collaboration and information networks where nodes explicitly state their group memberships. For example, in social networks nodes explicitly join various interest based social groups. We use such groups to define a reliable and robust notion of ground-truth communities. We then propose a methodology which allows us to compare and quantitatively evaluate how different structural definitions of network communities correspond to ground-truth communities. We choose 13 commonly used structural definitions of network communities and examine their sensitivity, robustness and performance in identifying the ground-truth. We show that the 13 structural definitions are heavily correlated and naturally group into four classes. We find that two of these definitions, Conductance and Triad-participation-ratio, consistently give the best performance in identifying ground-truth communities. We also investigate a task of detecting communities given a single seed node. We extend the local spectral clustering algorithm into a heuristic parameter-free community detection method that easily scales to networks with more than hundred million nodes. The proposed method achieves 30% relative improvement over current local clustering methods.

研究动机与目标

• 通过基于现实网络中节点的显式隶属关系来定义社区成员身份，以解决网络社区检测中缺乏可靠真实标签的问题。
• 开发一种定量的、大规模的评估方法，用于对比结构化社区定义与真实标签社区的性能。
• 评估13种常见社区检测方法在噪声和不同网络条件下的鲁棒性与敏感性。
• 设计一种可扩展的、无需参数调优的局部社区检测方法，从单个种子节点出发，适用于大规模网络。

提出的方法

• 使用来自社交、协作和信息领域的230个现实网络，其中节点明确加入群体（例如Orkut兴趣组、Amazon产品共购买关系），将这些群体定义为真实标签社区。
• 应用13种结构化社区定义（例如模块度、导通率、三元组参与率）检测社区，并通过F1分数和匈牙利算法匹配，与真实标签进行比较。
• 通过在扫掠曲线中检测所有局部极小值，扩展局部谱聚类方法，从而从单个种子节点识别多个社区，避免参数调优。
• 采用基于随机游走和局部谱优化的无参数启发式方法，实现对超过10000万个节点的网络的可扩展性。
• 使用F1分数结合匈牙利匹配法评估检测社区与真实标签社区之间的对应关系，跨多种网络类型计算平均得分。
• 通过引入噪声并测量方法性能的下降程度，分析其敏感性与鲁棒性。

实验结果

研究问题

• RQ1 在现实网络中，哪些结构化社区定义最能准确恢复真实标签社区？
• RQ2 当基于节点的显式群体隶属关系进行评估时，不同社区检测方法在精确率、召回率和F1分数上的表现如何？
• RQ3 社区检测方法的性能如何随网络规模、密度和噪声水平的变化而变化？
• RQ4 基于随机游走和谱扫掠的无参数局部社区检测方法能否可靠地从单个种子节点恢复多个社区？
• RQ5 社区检测方法在社区大小估计上是否存在过估计或欠估计现象？影响这种偏差的因素有哪些？

主要发现

• 导通率（Conductance）和三元组参与率（Triad-participation-ratio）在所有网络中均取得最高F1分数，平均F1分数分别为0.61和0.62，显著优于其他方法。
• 所提出的无参数局部谱方法在从单个种子节点检测社区时，相比最先进基线实现了30%的相对性能提升。
• 模块度（M）和局部聚类（LC）的F1分数分别仅为0.36和0.37，表明其对社区规模存在严重高估。
• 导通率和三元组参与率等方法在精确率与召回率之间表现出更好的平衡，而模块度则严重高估社区规模。
• 随着每个种子节点对应社区数量的增加，性能下降明显，尤其在LiveJournal和Amazon等网络中，单社区节点常位于社区边界。
• 研究发现，13种结构化定义高度相关，并自然划分为四种类别，其中导通率和三元组参与率构成最有效的类别，能最有效地恢复真实标签社区。