[论文解读] Comparison three methods of clustering: k-means, spectral clustering and hierarchical clustering

Kamran Kowsari|arXiv (Cornell University)|Dec 19, 2013

Advanced Clustering Algorithms Research参考文献 7被引用 4

一句话总结

本文通过分析其代价函数和损失函数，比较了k-means、谱聚类和层次聚类，提出了一种计算误差率的方法以评估聚类性能。尽管作者因修订而撤回了该研究，但其提出了一套评估各类聚类方法可扩展性、抗噪能力及参数敏感性的框架。

ABSTRACT

Comparison of three kind of the clustering and find cost function and loss function and calculate them. Error rate of the clustering methods and how to calculate the error percentage always be one on the important factor for evaluating the clustering methods, so this paper introduce one way to calculate the error rate of clustering methods. Clustering algorithms can be divided into several categories including partitioning clustering algorithms, hierarchical algorithms and density based algorithms. Generally speaking we should compare clustering algorithms by Scalability, Ability to work with different attribute, Clusters formed by conventional, Having minimal knowledge of the computer to recognize the input parameters, Classes for dealing with noise and extra deposition that same error rate for clustering a new data, Thus, there is no effect on the input data, different dimensions of high levels, K-means is one of the simplest approach to clustering that clustering is an unsupervised problem.

研究动机与目标

• 通过一致的评估标准，评估并比较k-means、谱聚类和层次聚类的性能。
• 为每种聚类方法定义并计算代价函数和损失函数，以实现定量比较。
• 提出一种标准化的聚类误差率计算方法，以支持客观的算法评估。
• 评估三种聚类方法在可扩展性、抗噪能力及参数敏感性方面的表现。
• 基于数据特征和性能指标，提供选择最优聚类算法的框架。

提出的方法

• 本文提出对三种聚类算法（k-means、谱聚类和层次聚类）进行对比分析。
• 为每种算法定义特定的代价函数和损失函数，以实现性能的定量评估。
• 提出一种计算聚类结果误差率的方法，重点关注误分类率。
• 评估框架考虑了可扩展性、对不同类型属性的处理能力，以及对噪声和高维数据的鲁棒性。
• 该方法强调对输入参数的先验知识要求最低，并在新数据实例上保持一致的性能表现。
• 研究使用结构化的比较矩阵，评估各算法在不同条件下的优缺点。

实验结果

研究问题

• RQ1 k-means、谱聚类和层次聚类在代价函数和损失函数值方面如何比较？
• RQ2 在不同算法中，计算聚类结果误差率的最有效方法是什么？
• RQ3 三种聚类方法在可扩展性以及对噪声和高维数据的鲁棒性方面表现如何？
• RQ4 哪种算法在保持一致性能的前提下，对输入参数的先验知识要求最少？
• RQ5 当将三种方法应用于新数据或未见数据时，误差率如何变化？

主要发现

• 本文提出了一种标准化的聚类误差率计算方法，可用于客观比较算法性能。
• 每种聚类方法——k-means、谱聚类和层次聚类——具有独特的代价函数和损失函数，影响其评估结果。
• 该研究突出了三种算法在可扩展性、噪声处理能力及参数敏感性方面的差异。
• 尽管论文已被撤回，但其提供了一个使用可测量性能指标评估聚类方法的基础框架。
• 所提出的误差率计算方法设计为独立于输入数据的变化，在高维数据集中也具有有效性。
• 分析表明，没有一种算法在所有情况下均普遍优于其他算法，算法选择应基于数据特征和评估标准。