[论文解读] Flow-based Algorithms for Improving Clusters: A Unifying Framework, Software, and Performance

Kimon Fountoulakis, Muyang Liu+2 more|arXiv (Cornell University)|Apr 20, 2020

Complex Network Analysis Techniques参考文献 156被引用 6

一句话总结

本文提出了一种统一的分数规划框架，用于基于流的聚类优化算法，实现了在图和向量空间中对现有聚类进行高效且有原则的优化。该框架提出了一套算法——FlowImprove、LocalFlowImprove 和 MQI，均实现于开源的 LocalGraphClustering Python 包中，并在社交网络和基于图像的数据图上展示了显著的导纳值降低与性能提升。

ABSTRACT

Clustering points in a vector space or nodes in a graph is a ubiquitous primitive in statistical data analysis, and it is commonly used for exploratory data analysis. In practice, it is often of interest to "refine" or "improve" a given cluster that has been obtained by some other method. In this survey, we focus on principled algorithms for this cluster improvement problem. Many such cluster improvement algorithms are flow-based methods, by which we mean that operationally they require the solution of a sequence of maximum flow problems on a (typically implicitly) modified data graph. These cluster improvement algorithms are powerful, both in theory and in practice, but they have not been widely adopted for problems such as community detection, local graph clustering, semi-supervised learning, etc. Possible reasons for this are: the steep learning curve for these algorithms; the lack of efficient and easy to use software; and the lack of detailed numerical experiments on real-world data that demonstrate their usefulness. Our objective here is to address these issues. To do so, we guide the reader through the whole process of understanding how to implement and apply these powerful algorithms. We present a unifying fractional programming optimization framework that permits us to distill, in a simple way, the crucial components of all these algorithms. It also makes apparent similarities and differences between related methods. Viewing these cluster improvement algorithms via a fractional programming framework suggests directions for future algorithm development. Finally, we develop efficient implementations of these algorithms in our LocalGraphClustering Python package, and we perform extensive numerical experiments to demonstrate the performance of these methods on social networks and image-based data graphs.

研究动机与目标

• 解决实践中强大基于流的聚类优化算法未被充分利用的问题，原因包括学习曲线陡峭、缺乏软件支持以及实证验证不足。
• 将多种聚类优化方法——如导纳优化、局部图聚类和图像分割——统一于单一分数规划框架之下。
• 开发高效、开源的软件（LocalGraphClustering），以降低实践者和研究人员的使用门槛。
• 通过大规模真实世界数据集上的广泛数值实验，证明基于流的方法在实际应用中的有效性。
• 提供理论洞见与算法组件，为局部与全局聚类的未来发展提供新方向。

提出的方法

• 将聚类优化表述为分数规划问题，目标是优化聚类质量度量（如导纳）与大小或体积的比值。
• 应用 Dinkelbach 算法及其更快的根求解变体，迭代求解分数规划子问题。
• 设计基于流的算法（MQI、FlowImprove、LocalFlowImprove），在修改后的数据图上求解一系列最大流问题。
• 引入强局部构造方法，利用阻塞流与子问题求解器，降低计算成本与内存使用。
• 结合局部谱方法进行嵌入，并对采样流结果进行 SVD，构建保留聚类结构的局部流嵌入。
• 通过基于空间与颜色相似性的高斯核权重，将图像转换为加权最近邻图，从而通过图聚类实现图像分割。

实验结果

研究问题

• RQ1 如何将多种基于流的聚类优化算法统一于单一理论框架之下？
• RQ2 哪些关键算法组件能够实现基于最大流计算的高效且有效的聚类优化？
• RQ3 在导纳降低与可扩展性方面，基于流的方法相较于谱聚类与 PageRank 等现有方法表现如何？
• RQ4 一个有原则且嵌入软件的框架是否能显著提升真实应用中聚类优化的采用率与性能？
• RQ5 基于流的方法在大规模社交网络与基于图像的数据图上的实证性能如何？

主要发现

• 分数规划框架成功统一了多种聚类优化算法，揭示了其共享的结构组件，并支持系统性比较。
• LocalGraphClustering 软件包提供了 MQI、FlowImprove 与 LocalFlowImprove 的高效、可重用实现，并在真实世界数据集上验证了性能。
• 在局部图聚类与半监督学习任务中，基于流的方法显著降低了导纳，优于基线方法。
• LocalFlowImprove 算法实现了优异的局部性，可在大规模图上以极低计算开销对数千个聚类进行可扩展优化。
• 局部流嵌入保留了聚类结构，并在社交网络与图像图的可视化中揭示了有意义的几何关系。
• 在社交网络与图像数据上的实证结果表明，基于流的方法在聚类质量与鲁棒性方面优于或匹配谱方法与扩散方法。