[论文解读] A k-core Decomposition Framework for Graph Clustering

Christos Giatsidis, Fragkiskos D. Malliaros+5 more|arXiv (Cornell University)|Jul 7, 2016

Complex Network Analysis Techniques参考文献 28被引用 6

一句话总结

本文提出 CoreCluster，一种可扩展的图聚类框架，利用 k-core 分解以核心度递减的顺序分层处理图，从而在保持或提升聚类质量的同时实现更快的聚类速度。通过从最密集的 k-core 开始聚类，并逐步扩展到更低的核心，该方法在保持结构保真度的同时加速了任何底层聚类算法。

ABSTRACT

Graph clustering or community detection constitutes an important task for investigating the internal structure of graphs, with a plethora of applications in several domains. Traditional techniques for graph clustering, such as spectral methods, typically suffer from high time and space complexity. In this article, we present CoreCluster, an efficient graph clustering framework based on the concept of graph degeneracy, that can be used along with any known graph clustering algorithm. Our approach capitalizes on processing the graph in an hierarchical manner provided by its core expansion sequence, an ordered partition of the graph into different levels according to the k-core decomposition. Such a partition provides an efficient way to process the graph in an incremental manner that preserves its clustering structure, while making the execution of the chosen clustering algorithm much faster due to the smaller size of the graph's partitions onto which the algorithm operates. An experimental analysis on a multitude of real and synthetic data demonstrates that our approach can be applied to any clustering algorithm accelerating the clustering process, while the quality of the clustering structure is preserved or even improved.

研究动机与目标

• 为解决传统图聚类算法（尤其是谱聚类和基于模块度的方法）面临的可扩展性挑战，这些方法因时间与空间复杂度较高而受限。
• 开发一种通用框架，可与任何现有图聚类算法集成，以提升其效率。
• 利用 k-core 分解的分层结构，作为在增量处理过程中保持并增强聚类质量的手段。
• 提供理论与实证依据，证明 k-core 分解能提供一种自然的、保持聚类特性的图划分方式。

提出的方法

• 该框架使用 k-core 分解将图划分为按核心度排序的嵌套子图，从最高 k-core 开始。
• 聚类从最密集的 k-core（最高退化度）开始，预期其包含最一致的社区结构。
• 该框架按核心扩展序列作为处理顺序，从高到低 k-core 逐步扩展聚类。
• 支持任意基础聚类算法，仅在更小、逐步变稀疏的子图上应用，以降低计算成本。
• 该方法设计为内存高效，增量处理图的各个部分，无需将整个图加载到主内存中。
• 理论分析表明，k-core 结构能保持聚类特性，并与最小化图割标准相关联。

实验结果

研究问题

• RQ1 k-core 分解能否为图聚类提供一种可扩展且有效的分层结构？
• RQ2 从最高 k-core 开始聚类是否能保持或改善与对全图聚类相比的聚类质量？
• RQ3 CoreCluster 框架如何影响计算开销较大的聚类算法的运行时间？
• RQ4 k-core 层次结构在多大程度上反映了真实图的内在聚类结构？
• RQ5 该框架能否有效应用于具有多样化拓扑结构的真实图和合成图？

主要发现

• CoreCluster 显著加速了聚类算法，即使在大规模图上，运行时间也仅随边数线性增长。
• 该框架保持或提升了聚类质量，表现为最高 k-core 中聚类系数高，且在导纳度指标上表现优异。
• 最高 k-core 始终表现出最高的平均聚类系数，表明其具有强局部社区结构。
• 实验表明，CoreCluster 在导纳度指标上优于 Metis 等基线方法，尤其在大规模图上表现更优。
• k-core 分解提供了自然的、保持聚类特性的划分方式，能引导增量聚类扩展，结构损失极小。
• 该框架内存高效，可在无需将整个图加载到主内存的情况下处理大规模图。