[论文解读] Scalable Constrained Clustering: A Generalized Spectral Method

Mihai Cucuringu, Ioannis Koutis+1 more|arXiv (Cornell University)|Apr 2, 2015

Advanced Clustering Algorithms Research参考文献 33被引用 7

一句话总结

本文提出了一种可扩展的谱聚类方法，将约束聚类表述为拉普拉斯矩阵上的广义特征值问题，从而实现近乎线性的时间复杂度，并为二路划分提供了强大的理论保证。该方法在大规模数据集上表现卓越——可处理数百万个数据点，且在准确率和速度上均优于以往方法。

ABSTRACT

We present a principled spectral approach to the well-studied constrained clustering problem. It reduces clustering to a generalized eigenvalue problem on Laplacians. The method works in nearly-linear time and provides concrete guarantees for the quality of the clusters, at least for the case of 2-way partitioning. In practice this translates to a very fast implementation that consistently outperforms existing spectral approaches. We support this claim with experiments on various data sets: our approach recovers correct clusters in examples where previous methods fail, and handles data sets with millions of data points - two orders of magnitude larger than before.

研究动机与目标

• 解决将约束聚类扩展到大规模数据集的同时保持理论保证的挑战。
• 开发一种系统化的谱方法，将实例级约束整合到聚类过程中。
• 在不牺牲聚类质量的前提下确保计算效率，尤其针对二路划分。
• 提供一个统一的框架，将现有谱聚类技术在统一的数学形式下进行推广。

提出的方法

• 将约束聚类表述为涉及图拉普拉斯矩阵的广义特征值问题。
• 利用谱松弛技术，将约束直接嵌入特征值问题的结构中。
• 使用广义特征值求解器高效计算聚类分配。
• 通过利用稀疏性与高效的线性代数技术，确保近乎线性的时间复杂度。
• 应用该解法将数据划分为聚类，同时尊重用户提供的必须链接（must-link）和不能链接（cannot-link）约束。
• 通过谱松弛界，为二路聚类情况下的聚类质量建立理论保证。

实验结果

研究问题

• RQ1 能否将约束聚类表述为广义特征值问题，以实现理论保证和可扩展性？
• RQ2 所提出的方法在近乎线性时间内如何保持高聚类质量？
• RQ3 该方法在大规模数据集上相较于现有谱聚类方法的性能优势有多大？
• RQ4 在先前方法失效的情况下，该方法能否有效恢复正确的聚类？

主要发现

• 该方法实现了近乎线性的时间复杂度，可处理包含数百万个点的数据集——比以往方法大两个数量级。
• 在基准数据集上，其聚类准确率始终优于现有谱聚类方法。
• 该方法在先前方法失效的复杂示例中成功恢复了正确的聚类。
• 为二路聚类情况建立了理论保证，将解的质量与谱松弛界相关联。