[论文解读] A Short Introduction to Local Graph Clustering Methods and Software

Kimon Fountoulakis, David F. Gleich+1 more|arXiv (Cornell University)|Oct 17, 2018

Complex Network Analysis Techniques参考文献 11被引用 7

一句话总结

本文介绍了局部图聚类（LGC），一个Python软件包，实现了可扩展的局部图聚类算法，能够高效地在种子节点周围识别出小型且高质量的聚类。通过利用基于优化的方法（如近似PageRank）和基于流的技术，LGC实现了运行时间和内存使用量与输出聚类大小成比例，从而在标准硬件上分析十亿节点图的同时，保持对连通性（conductance）和聚类质量的理论保证。

ABSTRACT

Graph clustering has many important applications in computing, but due to the increasing sizes of graphs, even traditionally fast clustering methods can be computationally expensive for real-world graphs of interest. Scalability problems led to the development of local graph clustering algorithms that come with a variety of theoretical guarantees. Rather than return a global clustering of the entire graph, local clustering algorithms return a single cluster around a given seed node or set of seed nodes. These algorithms improve scalability because they use time and memory resources that depend only on the size of the cluster returned, instead of the size of the input graph. Indeed, for many of them, their running time grows linearly with the size of the output. In addition to scalability arguments, local graph clustering algorithms have proven to be very useful for identifying and interpreting small-scale and meso-scale structure in large-scale graphs. As opposed to heuristic operational procedures, this class of algorithms comes with strong algorithmic and statistical theory. These include statistical guarantees that prove they have implicit regularization properties. One of the challenges with the existing literature on these approaches is that they are published in a wide variety of areas, including theoretical computer science, statistics, data science, and mathematics. This has made it difficult to relate the various algorithms and ideas together into a cohesive whole. We have recently been working on unifying these diverse perspectives through the lens of optimization as well as providing software to perform these computations in a cohesive fashion. In this note, we provide a brief introduction to local graph clustering, we provide some representative examples of our perspective, and we introduce our software named Local Graph Clustering (LGC).

研究动机与目标

• 解决全局图聚类方法在大规模现实世界图上的可扩展性限制。
• 将来自理论计算机科学、统计学和数据科学的多样化局部聚类方法统一到一个连贯的框架中。
• 提供一个软件工具，实现高效、内存感知的局部聚类并具备理论保证。
• 支持社区检测、网络社区画像和多类别标签预测等实际应用。
• 证明局部聚类方法可在计算开销极小的情况下实现接近最优的连通性。

提出的方法

• LGC实现了七种局部聚类算法：三种谱方法（近似PageRank、PageRank Nibble、ℓ₁-正则化PageRank）和四种基于流的方法（最大流商值改进、FlowImprove、SimpleLocal、容量释放扩散）。
• 这些算法设计为运行时间和内存使用量与输出聚类的大小成比例，而非整个图的大小。
• LGC采用基于流水线的方法计算网络社区轮廓（NCPs），以绘制每个社区规模下可达到的最佳连通性。
• NCP计算利用局部聚类启发式方法，高效地近似一个NP难问题。
• 多类别标签预测通过将局部聚类作为核心组件，从种子节点传播标签来实现。
• 该软件集成了C++例程以提升性能，并支持使用可用系统内存处理高达数十亿个节点的图。

实验结果

研究问题

• RQ1 局部图聚类方法是否能仅使用与输出聚类大小成比例的资源，实现高质量聚类？
• RQ2 在现实世界图上，局部聚类算法在连通性和可扩展性方面如何比较？
• RQ3 局部聚类能否有效用于大规模图的近似网络社区轮廓（NCPs）计算？
• RQ4 在多类别设置中，局部聚类方法在多大程度上能改善标签预测？
• RQ5 将理论保证与实际软件集成，如何提升其在数据科学应用中的可用性？

主要发现

• LGC成功地仅使用与输出聚类大小成比例的资源，计算出具有近似最优连通性的局部聚类，显著降低了计算成本。
• 该软件可在仅使用约9.4 GB内存的笔记本电脑上分析包含最多1.17亿条边的图。
• LGC可在大内存机器上扩展至十亿节点的图，证明了其在现实世界应用中的实际可行性。
• 通过局部聚类实现的NCP计算，为一个NP难问题提供了可扩展的近似解，使跨多个尺度的社区结构分析成为可能。
• 将局部聚类作为核心组件用于多类别标签预测，表现出强劲性能，有效利用了局部结构进行传播。
• 将多种理论方法整合到单一软件包中，促进了对局部聚类方法的统一分析与比较。