[论文解读] Detecting Overlapping Communities from Local Spectral Subspaces

Kun He, Yiwei Sun+3 more|arXiv (Cornell University)|Sep 27, 2015

Complex Network Analysis Techniques参考文献 27被引用 18

一句话总结

本文提出 LOSP（局部谱子空间）方法，通过利用围绕种子顶点的短随机游走所导出的局部谱子空间，实现对重叠社区的检测。通过在这些子空间中寻找稀疏的、$€_1$-范数最小化的指示向量，LOSP 能够从极少的种子顶点中高精度地识别目标社区，并在五个真实网络中优于全局和局部扩散基线方法。

ABSTRACT

Based on the definition of local spectral subspace, we propose a novel approach called LOSP for local overlapping community detection. Instead of using the invariant subspace spanned by the dominant eigenvectors of the entire network, we run the power method for a few steps to approximate the leading eigenvectors that depict the embedding of the local neighborhood structure around seeds of interest. We then seek a sparse approximate indicator vector in the local spectral subspace spanned by these vectors such that the seeds are in its support. We evaluate LOSP on five large real world networks across various domains with labeled ground-truth communities and compare the results with the state-of-the-art community detection approaches. LOSP identifies the members of a target community with high accuracy from very few seed members, and outperforms the local Heat Kernel or PageRank diffusions as well as the global baselines. Two candidate definitions of the local spectral subspace are analyzed, and different community scoring functions for determining the community boundary, including two new metrics, are thoroughly evaluated. The structural properties of different seed sets and the impact of the seed set size are discussed. We observe low degree seeds behave better, and LOSP is robust even when started from a single random seed. Using LOSP as a subroutine and starting from each ego connected component, we try the harder yet significant task of identifying all communities a single vertex is in. Experiments show that the proposed method achieves high F1 measures on the detected multiple local overlapping communities containing the seed vertex.

研究动机与目标

• 高效检测大规模网络中的重叠社区，特别是在仅有少量种子成员可用的情况下。
• 克服全局谱聚类和传统局部扩散方法（如 PageRank、热核）在可扩展性差或无法处理重叠结构方面的局限性。
• 开发一种局部谱框架，其时间与空间复杂度在目标社区规模上为多项式，而非整个网络规模。
• 实现对单个顶点所属的所有重叠社区的识别，解决多重成员身份识别问题。
• 评估并比较多种社区评分函数，包括两种新提出的度量，以确定最优的社区边界检测方法。

提出的方法

• 通过在种子顶点邻域子图上对幂迭代法进行若干次迭代，近似计算其主导特征向量，构建局部谱子空间。
• 将局部谱子空间定义为这些近似特征向量的张成，以捕捉种子周围的内在局部结构。
• 将社区检测任务建模为在局部谱子空间中寻找一个稀疏的、$€_1$-范数最小化的指示向量，且其支撑集包含所有种子顶点。
• 使用多种社区评分函数（包括归一化导出率、归一化模块度和三元组参与数 TPN）来确定最优社区边界。
• 递归应用或作为子程序调用该方法，通过将每个顶点视为种子，识别单个顶点所属的所有重叠社区。
• 利用种子集合的结构特性（如低度、高三角形参与度）提升检测的鲁棒性与准确性。

实验结果

研究问题

• RQ1 从短随机游走中提取的局部谱子空间是否能有效捕捉重叠社区的结构，而无需访问全局网络？
• RQ2 在真实网络中，LOSP 的性能如何随种子集合的质量、大小及结构特性（如度数、凝聚度）而变化？
• RQ3 LOSP 是否能在仅提供极少种子输入的情况下，优于最先进局部扩散方法（如个性化 PageRank、热核）来检测重叠社区？
• RQ4 所提出的评分函数（尤其是新颖的三元组参与数 TPN 和归一化模块度）在识别准确社区边界方面的有效性如何？
• RQ5 LOSP 在多大程度上能够识别单个顶点所属的所有重叠社区？其性能如何随重叠成员数量的变化而变化？

主要发现

• LOSP 仅需极少种子成员即可实现高 F1 分数（在 'Truth' 数据集中平均达 0.659），在检测目标社区方面优于局部扩散方法和全局基线方法。
• 三元组参与数（TPN）评分函数在社区边界检测中优于导出率，表明其在重叠社区检测中的有效性。
• 低度种子和高三角形参与度（低逃逸率）的种子可带来更准确、更稳定的社区检测结果，因其在随机游走传播过程中能更好地保持局部结构。
• 即使从单个随机种子初始化，LOSP 依然表现出强鲁棒性，且在多种网络类型和社区规模下保持高性能。
• 在多重成员身份识别任务中，LOSP 在所有数据集和停止条件下平均 F1 得分为 0.405，证明其在揭示重叠社区成员身份方面的有效性。
• 该方法具有高效可扩展性，运行时间和内存使用量与局部社区规模呈多项式关系，而非整个网络规模，从而可在大规模网络中实现实际部署。