[论文解读] Detecting dense communities in large social and information networks with the Core & Peel algorithm

Marco Pellegrini, Filippo Geraci+1 more|arXiv (Cornell University)|Oct 11, 2012

Complex Network Analysis Techniques参考文献 39被引用 4

一句话总结

本文提出 Core & Peel 算法，一种用于在大规模网络中快速检测不相交密集社区的启发式方法，通过迭代识别并移除使用核心分解和局部邻域探索的密集子图实现。该方法在合成网络和真实网络上均实现了 96% 的精确率和 99% 的召回率，优于现有方法，在效率和准确性方面表现更优，且无需黄金标准即可进行评估。

ABSTRACT

Detecting and characterizing dense subgraphs (tight communities) in social and information networks is an important exploratory tool in social network analysis. Several approaches have been proposed that either (i) partition the whole network into clusters, even in low density region, or (ii) are aimed at finding a single densest community (and need to be iterated to find the next one). As social networks grow larger both approaches (i) and (ii) result in algorithms too slow to be practical, in particular when speed in analyzing the data is required. In this paper we propose an approach that aims at balancing efficiency of computation and expressiveness and manageability of the output community representation. We define the notion of a partial dense cover (PDC) of a graph. Intuitively a PDC of a graph is a collection of sets of nodes that (a) each set forms a disjoint dense induced subgraphs and (b) its removal leaves the residual graph without dense regions. Exact computation of PDC is an NP-complete problem, thus, we propose an efficient heuristic algorithms for computing a PDC which we christen Core and Peel. Moreover we propose a novel benchmarking technique that allows us to evaluate algorithms for computing PDC using the classical IR concepts of precision and recall even without a golden standard. Tests on 25 social and technological networks from the Stanford Large Network Dataset Collection confirm that Core and Peel is efficient and attains very high precison and recall.

研究动机与目标

• 解决现有社区检测方法在大规模社交和信息网络中可扩展性和表达能力方面的局限性。
• 开发一种高效的启发式算法，用于计算图的局部密集覆盖（PDC），以表示不相交的密集子图。
• 提出一种新颖的基准测试框架，使用精确率和召回率进行评估，无需黄金标准，从而实现对社区检测算法的可靠评估。
• 在大规模图中平衡计算效率与有意义且可管理的社区表示。

提出的方法

• 该算法使用核心分解为每个节点分配一个核心数，作为其可能属于密集子图的代理指标。
• 按核心数降序处理节点，优先选择可能启动大型密集社区的种子节点。
• 对每个种子节点，通过探索其邻域来识别密度高于用户定义阈值的密集诱导子图。
• 一旦检测到密集子图，其节点即被标记为“已使用”，以防止重复检测并确保社区互不相交。
• 该算法采用“剥除”过程，通过迭代地从候选子图中移除低度节点，以优化和稳定检测到的社区。
• 提出一种新颖的基准测试技术，利用带有预植社区的合成图计算精确率和召回率，实现无需真实标签的评估。

实验结果

研究问题

• RQ1 启发式算法能否在不进行过度计算的情况下，高效检测大规模网络中的多个不相交密集社区？
• RQ2 当不存在黄金标准时，如何对社区检测算法的精确率和召回率进行有意义的度量？
• RQ3 Core & Peel 算法在不同类型的网络以及不同密度和半径阈值下是否能保持高准确性？
• RQ4 核心分解在多大程度上提升了大规模图中社区检测的效率和质量？

主要发现

• 在斯坦福大规模网络数据集收集的 25 个真实网络中，Core & Peel 在 100% 密度和半径 1 条件下，平均精确率为 95.4%，平均召回率为 98.96%。
• 在 70% 密度和半径 1 条件下，平均精确率为 83.0%，召回率为 83.9%，F1 分数为 82.7%，表明其对较低密度阈值具有强鲁棒性。
• 在半径 2 和 70% 密度条件下，平均精确率保持在 85.6%，召回率略有下降至 78.1%，表明在结构约束放宽时仍具稳定性。
• 该算法在核心分解上表现出线性时间复杂度，且在半径 1 时每条边的计算时间稳定在 10−6 至 10−5 秒之间，在半径 2 时为 10−4 至 10−3 秒之间。
• 该方法在多种图类型中均保持高性能，包括网页图、合作网络和道路网络，证实了其泛化能力。
• 所提出的基准测试框架通过使用带有预植社区的合成图，实现了可靠的评估，验证了算法在无需真实标签情况下的精确率和召回率。