[论文解读] DEMON: a Local-First Discovery Method for Overlapping Communities

Michele Coscia, Giulio Rossetti+2 more|arXiv (Cornell University)|Jun 4, 2012

Complex Network Analysis Techniques参考文献 17被引用 40

一句话总结

DEMON 是一种面向复杂网络的本地优先、确定性且增量式的重叠社区检测算法。它在每个节点的自网络上应用标签传播，使节点在其局部邻域内民主投票决定社区归属，随后将这些局部结果合并为全局重叠划分，在 Facebook、Amazon 和 IMDb 等真实网络中，其社区质量与元数据预测性能均优于当前最先进方法。

ABSTRACT

Community discovery in complex networks is an interesting problem with a number of applications, especially in the knowledge extraction task in social and information networks. However, many large networks often lack a particular community organization at a global level. In these cases, traditional graph partitioning algorithms fail to let the latent knowledge embedded in modular structure emerge, because they impose a top-down global view of a network. We propose here a simple local-first approach to community discovery, able to unveil the modular organization of real complex networks. This is achieved by democratically letting each node vote for the communities it sees surrounding it in its limited view of the global system, i.e. its ego neighborhood, using a label propagation algorithm; finally, the local communities are merged into a global collection. We tested this intuition against the state-of-the-art overlapping and non-overlapping community discovery methods, and found that our new method clearly outperforms the others in the quality of the obtained communities, evaluated by using the extracted communities to predict the metadata about the nodes of several real world networks. We also show how our method is deterministic, fully incremental, and has a limited time complexity, so that it can be used on web-scale real networks.

研究动机与目标

• 解决大规模网络中全局、自顶向下的社区检测方法在模块化结构不明显时的局限性。
• 开发一种利用局部节点视角的方法，以比全局划分算法更有效地揭示潜在社区结构。
• 设计一种适用于网络规模网络的确定性、增量式且可扩展的算法。
• 通过融合局部、民主的节点级判断，提升重叠社区检测的质量。
• 使用元数据预测作为社区质量的代理指标，评估该方法的有效性。

提出的方法

• 每个节点构建其自网络（不包括自身），以分析其局部邻域。
• 在每个自网络内应用标签传播，基于局部连通性识别局部社区。
• 每个节点根据其自网络中观察到的社区进行投票，生成局部社区分配。
• 将局部社区分配聚合并合并为全局重叠社区结构。
• 该方法具有确定性且完全增量式，可高效支持网络演化过程中的更新。
• 基于元数据预测的质量函数用于评估所发现社区的准确性。

实验结果

研究问题

• RQ1 本地优先方法是否能在识别有意义的重叠社区方面优于全局、自顶向下的社区检测算法？
• RQ2 基于局部视图的节点民主投票是否能产生比现有方法更高质量的社区划分？
• RQ3 该方法是否能高效扩展至大规模真实网络，同时保持确定性与增量更新能力？
• RQ4 所发现的社区在多大程度上提升了节点元数据的预测性能，相较于最先进方法？
• RQ5 所发现的社区在多大程度上反映了现实世界中的语义或功能分组？其证据来自社交与信息网络中的产品与用户行为。

主要发现

• 在 Congress 和 IMDb 数据集上，DEMON 分别取得了 1.1792 和 5.6158 的最高社区质量得分，优于所有基线方法。
• 在 IMDb 数据集上，DEMON 相较于表现第二好的方法（Infomap）在社区质量得分上高出 0.4569。
• 该方法在预测节点元数据方面表现出色，表明所发现的社区具有语义意义，且对知识抽取具有实际价值。
• DEMON 能够为同一产品（如“枪炮、病菌与钢铁”）识别出两个截然不同且特征鲜明的社区——一个聚焦于社会经济方面，另一个聚焦于哲学意义，充分展示了其捕捉重叠、细致分层群体关系的能力。
• 该算法具有确定性且完全增量式，支持高效更新，可扩展至大规模网络，包括网络规模图。
• 该方法民主化、本地优先的设计使其能够发现全局算法因自顶向下约束而无法检测到的模块化结构。