[论文解读] The Laplacian K-modes algorithm for clustering

Weiran Wang, Miguel Á. Carreira-Perpiñán|arXiv (Cornell University)|Jun 16, 2014

Advanced Clustering Algorithms Research参考文献 29被引用 5

一句话总结

Laplacian K-modes 算法将 K-modes 聚类与图拉普拉斯正则化相结合，即使在非凸或流形结构的数据中，也能找到有意义的、高密度的、可解释的聚类中心。通过整合分配变量、基于核密度估计的模式搜索以及谱正则化，该算法在保持有效且具有代表性的聚类中心的同时，实现了优越的聚类性能，并支持高效的样本外分配。

ABSTRACT

In addition to finding meaningful clusters, centroid-based clustering algorithms such as K-means or mean-shift should ideally find centroids that are valid patterns in the input space, representative of data in their cluster. This is challenging with data having a nonconvex or manifold structure, as with images or text. We introduce a new algorithm, Laplacian K-modes, which naturally combines three powerful ideas in clustering: the explicit use of assignment variables (as in K-means); the estimation of cluster centroids which are modes of each cluster's density estimate (as in mean-shift); and the regularizing effect of the graph Laplacian, which encourages similar assignments for nearby points (as in spectral clustering). The optimization algorithm alternates an assignment step, which is a convex quadratic program, and a mean-shift step, which separates for each cluster centroid. The algorithm finds meaningful density estimates for each cluster, even with challenging problems where the clusters have manifold structure, are highly nonconvex or in high dimension. It also provides centroids that are valid patterns, truly representative of their cluster (unlike K-means), and an out-of-sample mapping that predicts soft assignments for a new point.

研究动机与目标

• 解决 K-means 和 K-modes 在处理非凸或流形结构聚类时的局限性。
• 通过在每个聚类内寻找核密度估计的模式，确保聚类中心是有效且具有代表性的模式。
• 引入一种正则化机制，以促进邻近数据点之间分配的一致性，从而改善聚类分离效果。
• 在保持计算效率和可扩展性的同时，支持对新数据点进行软性样本外分配。
• 在 MNIST 和 COIL-20 等高维数据集上，实现优于 K-means、K-modes 和均值漂移算法的聚类性能。

提出的方法

• 构建一个联合优化目标，将 K-modes 聚类与图拉普拉斯正则化相结合，以促进聚类分配的空间一致性。
• 使用二值分配变量（z_nk）将数据点分配至聚类，类似于 K-means，但采用非欧几里得且具备密度感知能力的距离度量。
• 将聚类中心估计为基于每个聚类内点构建的核密度估计（KDE）的模式，确保其为有效且高密度的模式。
• 通过交替求解凸二次规划问题以更新分配，并执行均值漂移迭代以独立更新每个中心。
• 通过同伦延续技术，逐步减小带宽 σ，同时复用前一阶段的解，以提升收敛性和性能。
• 通过利用学习到的密度估计和分配规则，实现软性样本外预测。

实验结果

研究问题

• RQ1 我们能否设计一种聚类算法，即使在非凸或流形结构的数据中，也能找到有意义的、高密度的、可解释的聚类中心？
• RQ2 如何在一个统一框架中结合 K-modes（模式搜索、有效中心）与谱聚类（非凸聚类检测）的优势？
• RQ3 在引入可提升分配一致性与聚类分离效果的正则化机制的同时，能否保持计算效率？
• RQ4 图拉普拉斯正则化的集成是否能提升在 MNIST 和 COIL-20 等高维数据集上的聚类性能？
• RQ5 该算法能否为训练集之外的新数据点生成软性、可泛化的分配结果？

主要发现

• 在 MNIST 数据集上，Laplacian K-modes 达到了 70.5% 的准确率和 68.8% 的 NMI，显著优于 K-means（55.2% 准确率，50.2% NMI）和 K-modes（56.0% 准确率，50.6% NMI）。
• 在 COIL-20 数据集上，Laplacian K-modes 使用同伦技术实现了 81.5% 的准确率和 88.0% 的 NMI，优于 K-means（64.8% 准确率，73.5% NMI）和 K-modes（65.5% 准确率，73.0% NMI）。
• Laplacian K-modes 生成的聚类中心清晰、具有代表性，能平均掉噪声和个体差异，同时保留类别身份特征，而 K-means 的聚类中心则模糊且为平均化结果。
• 该算法成功分离了具有流形结构的聚类（例如旋转的数字），避免了均值漂移算法中常见的多峰或中心漂移问题。
• 同伦延续方法通过逐步减小带宽 σ，使聚类中心平滑地演化为高密度、具有代表性的模式，从而提升了性能。
• 该算法提供软性样本外分配，使基于学习到的密度和分配模型，能够对新数据点实现泛化。