[论文解读] Accelerating Community Detection by Using K-core Subgraphs

Chengbin Peng, Tamara G. Kolda+1 more|arXiv (Cornell University)|Mar 10, 2014

Complex Network Analysis Techniques参考文献 37被引用 47

一句话总结

该论文提出一种基于K-core的框架，通过仅在K-core子图上应用计算成本较高的算法来加速社区检测，随后使用快速启发式方法为剩余节点分配标签。实验结果表明，在多个真实网络和评估指标下，运行时间最高可减少90%，同时保持解决方案质量不变。

ABSTRACT

Community detection is expensive, and the cost generally depends at least linearly on the number of vertices in the graph. We propose working with a reduced graph that has many fewer nodes but nonetheless captures key community structure. The K-core of a graph is the largest subgraph within which each node has at least K connections. We propose a framework that accelerates community detection by applying an expensive algorithm (modularity optimization, the Louvain method, spectral clustering, etc.) to the K-core and then using an inexpensive heuristic (such as local modularity maximization) to infer community labels for the remaining nodes. Our experiments demonstrate that the proposed framework can reduce the running time by more than 80% while preserving the quality of the solutions. Recent theoretical investigations provide support for using the K-core as a reduced representation.

研究动机与目标

• 解决社区检测算法计算成本高昂的问题，这些算法的计算复杂度随图大小线性或更差地增长。
• 通过将计算聚焦于更小且具有结构代表性的子图，实现运行时间减少而不牺牲解决方案质量。
• 通过利用K-core保持内部连接紧密的特性，保留简化图中的社区结构。
• 开发一种可扩展的框架，兼容现有社区检测方法及性能优化实现。
• 为使用K-core作为网络中社区结构的简化表示提供理论依据。

提出的方法

• 通过递归移除度数小于K的节点，直到剩余所有节点的度数均≥K，识别输入图的K-core。
• 仅在K-core子图上应用计算成本较高的社区检测算法（例如模块度优化、Louvain、谱聚类）。
• 基于节点与K-core的连接关系，使用快速启发式方法（例如局部模块度最大化）为K-core外部的节点分配社区标签。
• 通过结合K-core结果与快速标签启发式方法，对全图进行优化，进一步改进社区分配。
• 利用理论结果表明，在度数均匀分布和相关性假设下，模块度在K-core中得以保持。
• 基于关于社区结构保持性和对节点移除鲁棒性的理论洞察，选择最优的K值。

实验结果

研究问题

• RQ1 K-core子图是否能在显著缩小图规模的同时，保留网络的本质社区结构？
• RQ2 通过将计算限制在K-core上，社区检测算法能在多大程度上实现加速，同时不降低解决方案质量？
• RQ3 K值的选择如何影响运行时间减少与社区结构保持之间的权衡？
• RQ4 在何种理论条件下，K-core上的社区检测结果与全图上的结果一致？
• RQ5 结合K-core计算与快速标签启发式方法的混合框架，能否同时实现高效率与高精度？

主要发现

• 所提出的框架平均将运行时间减少80%以上，部分情况下甚至达到90%的减少，同时保持或提升了解决方案质量。
• 在ego-Facebook网络上，对K=40的K-core运行模块度优化，将运行时间减少至基线的20%以下（876秒 → 约170秒），此时仅保留20%的节点和50%的边。
• K-core解决方案的模块度始终不低于全图检测的结果，证明了质量的保持。
• 理论分析表明，若真实社区结构在全图上最大化模块度，则在度数均匀分布和相关性假设下，该结构同样在K-core上最大化模块度。
• 该框架在多种真实网络中均保持了多指标性能：模块度、归一化切割和NMI。
• K-core方法与现有优化技术（如多线程处理和节点属性集成）兼容，进一步提升了可扩展性。