[论文解读] A Model-Based Approach to Rounding in Spectral Clustering

Leonard K. M. Poon, April H. Liu+2 more|arXiv (Cornell University)|Oct 16, 2012

Advanced Clustering Algorithms Research参考文献 5被引用 7

一句话总结

本文提出了一种基于模型的谱聚类取整方法，放松了聚类数等于所用前导特征向量数的假设。通过利用潜在树模型联合解决特征向量选择、聚类数估计和数据划分问题，该方法在非理想条件下显著提升了鲁棒性和准确性，已在合成数据集和真实世界数据集上得到验证，表现出从理想聚类设定下的平滑退化特性。

ABSTRACT

In spectral clustering, one defines a similarity matrix for a collection of data points, transforms the matrix to get the Laplacian matrix, finds the eigenvectors of the Laplacian matrix, and obtains a partition of the data using the leading eigenvectors. The last step is sometimes referred to as rounding, where one needs to decide how many leading eigenvectors to use, to determine the number of clusters, and to partition the data points. In this paper, we propose a novel method for rounding. The method differs from previous methods in three ways. First, we relax the assumption that the number of clusters equals the number of eigenvectors used. Second, when deciding the number of leading eigenvectors to use, we not only rely on information contained in the leading eigenvectors themselves, but also use subsequent eigenvectors. Third, our method is model-based and solves all the three subproblems of rounding using a class of graphical models called latent tree models. We evaluate our method on both synthetic and real-world data. The results show that our method works correctly in the ideal case where between-clusters similarity is 0, and degrades gracefully as one moves away from the ideal case.

研究动机与目标

• 解决传统谱聚类取整方法的局限性，该方法假设聚类数等于所用前导特征向量数。
• 通过整合前导和后续特征向量的信息，而非仅依赖前导特征向量，改进聚类数估计。
• 开发一个统一的、基于模型的框架，同时解决特征向量选择、聚类数确定和数据划分问题。
• 提升谱聚类在非理想场景下的鲁棒性，即当聚类间相似性非零时。

提出的方法

• 该方法采用一类称为潜在树模型的图模型来建模潜在的聚类结构。
• 通过分析包括非前导特征向量在内的多个特征向量中的模式，联合估计聚类数并分配数据点到聚类。
• 该方法放松了标准假设，即聚类数必须等于嵌入中使用的前导特征向量数。
• 使用概率推理过程，基于特征向量结构确定最优聚类数和最终划分。
• 采用基于似然的准则进行模型训练，以平衡聚类的紧凑性与分离性。
• 通过具有已知聚类结构的合成数据和真实世界数据集对方法进行评估，以衡量在不同聚类重叠程度下的性能。

实验结果

研究问题

• RQ1 基于模型的方法是否能超越仅依赖前导特征向量的局限，提升谱聚类中聚类数估计的准确性？
• RQ2 在非理想、聚类重叠的场景下，整合非前导特征向量的信息如何影响谱聚类的鲁棒性？
• RQ3 当聚类间相似性从理想的零相似性状态逐渐增加时，该方法的性能退化程度如何？
• RQ4 统一的概率模型在多大程度上能有效处理谱聚类取整的三个子问题：特征向量选择、聚类数确定和数据划分？

主要发现

• 在聚类间相似性为零的理想情况下，该方法能正确识别真实的聚类数。
• 随着聚类间相似性的增加，该方法表现出平滑的性能退化，即使在中等重叠情况下仍能保持合理性能。
• 整合后续特征向量的信息相比仅依赖前导特征向量的方法，能实现更准确的聚类数估计。
• 在真实世界数据集上，该基于模型的方法优于基线方法，尤其在聚类边界模糊或重叠的场景中表现更优。
• 潜在树模型的使用为取整问题提供了原则性、概率性的解决方案，提升了结果的一致性和可解释性。