[论文解读] An Empirical Comparison of the Summarization Power of Graph Clustering Methods

Yike Liu, Neil Shah+1 more|arXiv (Cornell University)|Nov 21, 2015

Complex Network Analysis Techniques参考文献 29被引用 7

一句话总结

该论文提出了一种基于最小描述长度（MDL）原理和常见图结构词汇表的新型图聚类方法评估框架，以衡量其摘要能力。该研究引入了KCBC——一种基于k-core的聚类算法，并在真实图上对五种方法（METIS、Louvain、谱聚类、SlashBurn和KCBC）进行了实验比较，发现SlashBurn能生成最具表现力的摘要，尤其在识别星型结构方面表现优异，而KCBC则在效率和压缩性能方面表现突出，且重叠边最少。

ABSTRACT

How do graph clustering techniques compare with respect to their summarization power? How well can they summarize a million-node graph with a few representative structures? Graph clustering or community detection algorithms can summarize a graph in terms of coherent and tightly connected clusters. In this paper, we compare and contrast different techniques: METIS, Louvain, spectral clustering, SlashBurn and KCBC, our proposed k-core-based clustering method. Unlike prior work that focuses on various measures of cluster quality, we use vocabulary structures that often appear in real graphs and the Minimum Description Length (MDL) principle to obtain a graph summary per clustering method. Our main contributions are: (i) Formulation: We propose a summarization-based evaluation of clustering methods. Our method, VOG-OVERLAP, concisely summarizes graphs in terms of their important structures which lead to small edge overlap, and large node/edge coverage; (ii) Algorithm: we introduce KCBC, a graph decomposition technique, in the heart of which lies the k-core algorithm (iii) Evaluation: We compare the summarization power of five clustering techniques on large real graphs, and analyze their compression performance, summary statistics and runtimes.

研究动机与目标

• 将图聚类方法的评估从传统的聚类质量指标转向摘要能力，重点关注方法在压缩和表示真实图方面的表现。
• 开发一种新的评估框架，利用最小描述长度（MDL）原理和一组固定的图结构词汇表（团、星型、链、二分核心）来评估摘要的有效性。
• 提出KCBC——一种可扩展的、无需参数调节的基于k-core的聚类算法，专为高效且有效的图摘要设计。
• 在大规模真实图上，从压缩率、结构多样性、覆盖率和运行时间等方面，对五种聚类技术（METIS、Louvain、谱聚类、SlashBurn和KCBC）进行实证比较。
• 分析不同聚类方法在摘要表现力、边重叠和计算效率之间的权衡。

提出的方法

• 提出VOG-OVERLAP，一种考虑子图之间重叠边的图摘要方法，以提升压缩率并减少冗余。
• 采用最小描述长度（MDL）原理量化总描述长度 L(G, M) = L(M) + L(E)，其中 M 为模型（结构集合），E 为误差矩阵。
• 使用一组固定的常见图结构词汇表——完全团（fc）、星型（st）、链（ch）和二分核心（bc）——以无损且紧凑的方式表示图。
• 引入KCBC（基于k-core的聚类），一种新颖的算法，通过k-core分解提取多个重叠最少的强连通分量。
• 应用VOG摘要流程：(1) 通过不同方法提取聚类，(2) 使用MDL选择结构，(3) 以最小描述长度组装摘要。
• 采用两种启发式策略——GREEDY’NFORGET 和 TOP10——进行结构选择，最终评估中采用GREEDY’NFORGET，因其压缩效果更优。

实验结果

研究问题

• RQ1 不同图聚类方法在使用固定结构词汇表对大规模真实图进行摘要时，其表现如何比较？
• RQ2 哪种聚类方法在MDL编码代价和结构多样性方面能生成最具表现力且最紧凑的图摘要？
• RQ3 提取的子图之间的边重叠如何影响最终摘要的质量和压缩效率？
• RQ4 在五种聚类技术中，计算效率（运行时间）与摘要能力之间的权衡如何？
• RQ5 基于k-core的KCBC算法在可扩展性和摘要质量方面，相较于现有方法有多大优势？

主要发现

• SlashBurn生成的摘要最具表现力，能识别全部四种结构类型（团、星型、链、二分核心），尤其在检测星型结构方面表现优异，而其他方法常会遗漏此类结构。
• KCBC在压缩性能方面表现优异，边重叠极少，且在子图生成阶段速度最快，尤其在大型图（如Enron）上表现显著，运行时间分别为11,297.72秒（KCBC）和81,737.3秒（SlashBurn）。
• 谱聚类和METIS在结构检测和压缩方面表现强劲，但速度慢于KCBC和METIS；METIS因生成的结构更少、更小，在摘要组装阶段最快。
• 子图生成的运行时间随图规模显著增加，速度排序为：KCBC > 谱聚类 > METIS > Louvain > SlashBurn。
• 摘要组装时间与候选结构的数量和大小成正比，METIS生成的结构最少（因此组装最快），而SlashBurn生成的结构最多。
• KCBC能成功识别完全团和二分核心，其k-core基础结构使其能够实现高效、可扩展的分解，且无需参数调优。