[论文解读] Cluster validation by measurement of clustering characteristics relevant to the user

Christian Hennig|arXiv (Cornell University)|Mar 27, 2017

Advanced Clustering Algorithms Research被引用 6

一句话总结

本文提出了一种多变量聚类验证框架，通过校准并归一化的指数测量多种用户相关的聚类特性——如类内同质性、类间分离度以及间隙结构——使用户能够根据其应用目标，以自定义权重聚合这些指标。与单变量指数相比，该方法在人工数据集和真实数据集（包括四节蜜蜂属Tetragonula）的实证测试中，与外部基准（如物种划分）的对齐度更优。

ABSTRACT

There are many cluster analysis methods that can produce quite different clusterings on the same dataset. Cluster validation is about the evaluation of the quality of a clustering; "relative cluster validation" is about using such criteria to compare clusterings. This can be used to select one of a set of clusterings from different methods, or from the same method ran with different parameters such as different numbers of clusters. There are many cluster validation indexes in the literature. Most of them attempt to measure the overall quality of a clustering by a single number, but this can be inappropriate. There are various different characteristics of a clustering that can be relevant in practice, depending on the aim of clustering, such as low within-cluster distances and high between-cluster separation. In this paper, a number of validation criteria will be introduced that refer to different desirable characteristics of a clustering, and that characterise a clustering in a multidimensional way. In specific applications the user may be interested in some of these criteria rather than others. A focus of the paper is on methodology to standardise the different characteristics so that users can aggregate them in a suitable way specifying weights for the various criteria that are relevant in the clustering application at hand.

研究动机与目标

• 解决单变量聚类验证指数假设任何数据集仅存在单一最优聚类的局限性。
• 基于用户特定目标（如同质性、分离度或间隙结构）提供聚类质量的多维评估。
• 通过自定义聚合已验证标准，实现不同方法或参数设置下聚类结果的相对聚类验证。
• 提出一种校准方案，利用随机聚类来归一化不同验证指数，以实现有意义的比较与聚合。
• 通过将验证指标与实际应用需求关联，支持聚类选择与算法基准测试的实践应用。

提出的方法

• 引入四种不同的验证指数：$I^{cK}_{\text{withindis}}$ 衡量类内差异度，$I^{cK}_{0.1\text{-sep}}$ 衡量第10百分位的分离度，$I^{cK}_{\text{Pearson}\Gamma}$ 衡量基于相关性的同质性，$I^{cK}_{\text{widestgap}}$ 用于识别类间最大间隙。
• 提出聚合指数 $A({\cal C})$，通过用户指定的权重组合归一化后的验证得分，以反映应用特定的优先级。
• 通过与随机聚类分布（如“愚蠢的K-质心”或“愚蠢的最近邻聚类”）对比，对每个指数进行校准，以实现值的归一化和跨标准的可比性。
• 采用重采样校准方法，估计随机性下的期望变异，从而实现不同尺度下指数的类似z分数的标准化。
• 将该框架应用于人工数据集和真实数据集，包括对四节蜜蜂属Tetragonula的物种划分研究，以评估聚类质量和方法性能。
• 在R语言的'fpc'包中实现该方法，以支持聚类分析工作流中的实际应用。

实验结果

研究问题

• RQ1 如何在超越假设单一最优聚类的单变量指数的基础上，改进聚类验证方法？
• RQ2 在不同聚类目标（如数据压缩与模式识别）下，聚类的哪些多维特性最为相关？
• RQ3 如何对测量同质性、分离度和间隙结构的多样化验证指数进行有意义的归一化与聚合，以支持用户驱动的决策？
• RQ4 所提出的聚合指数在多大程度上与外部基准（如生物数据中的已知物种分组）保持一致？
• RQ5 不同的校准方法（如相同K值的随机聚类 vs. 所有随机聚类）在多大程度上影响验证结果的可靠性与稳定性？

主要发现

• 在四节蜜蜂属Tetragonula数据集中，聚合指数 $A({\cal C})$ 与调整兰德指数（ARI）的相关性约为0.85，表明其与外部验证具有强一致性。
• 平均 linkage 方法在 $K=12$ 时达到最高的 $A({\cal C})$ 值（9.97），尽管其 ARI 并非最高，凸显了该方法在捕捉有意义聚类结构方面的能力。
• 尽管真实物种数为9，但 $K=10$ 和 $K=12$ 的聚类结果 ARI 值高于 $K=9$，表明正确的聚类数量并不保证更优的聚类质量。
• 类内间隙准则 ($I^{cK}_{\text{widestgap}}$) 在排序中发挥了决定性作用，倾向于优先选择 $K \geq 9$ 的平均 linkage 方法。
• 使用所有随机聚类的校准方法与仅使用同$K$随机聚类的方法得出了相同的排序结果，表明该校准方法具有稳健性。
• PAM 方法在类内同质性方面表现良好，但整体上仍逊于平均 linkage，后者在分离度和间隙结构方面更优，凸显了多维评估的价值。