[论文解读] Evaluation Metrics for Unsupervised Learning Algorithms

Julio-Omar Palacio-Niño, Fernando Berzal|arXiv (Cornell University)|May 14, 2019

Advanced Clustering Algorithms Research参考文献 19被引用 98

一句话总结

对聚类评估标准的综述，详细介绍 Kleinberg 的公理、内部/外部验证度量，以及无监督学习的超参数调优策略。

ABSTRACT

Determining the quality of the results obtained by clustering techniques is a key issue in unsupervised machine learning. Many authors have discussed the desirable features of good clustering algorithms. However, Jon Kleinberg established an impossibility theorem for clustering. As a consequence, a wealth of studies have proposed techniques to evaluate the quality of clustering results depending on the characteristics of the clustering problem and the algorithmic technique employed to cluster data.

研究动机与目标

• 说明在无标签的无监督学习中评估聚类质量的必要性。
• 回顾 Kleinberg 的不可能性定理及其对理想聚类属性的影响。
• 描述聚类结果评估标准（内部和外部）的分类法。
• 调研常用的内部、外部及信息理论验证指标。
• 概述聚类算法中超参数调优的做法。

提出的方法

• 讨论 Kleinberg 的三个公理：尺度不变性、丰富性和一致性。
• 给出聚类评估方法的分类法（内部、外部、信息理论）。
• 描述具体的内部验证量度（凝聚度、分离度、轮廓系数、CPCC 等）。
• 描述具体的外部验证量度（匹配集合、对等相关、信息理论指标）。
• 解释超参数调优策略（网格/随机/-smart 搜索）以及用于 nc 选择的拐点/膝点方法。

实验结果

研究问题

• RQ1 由于 Kleinberg 公理，聚类质量的理论极限是什么？
• RQ2 在不同算法范式下，哪些评估标准和指标能最好地体现聚类质量？
• RQ3 如何将内部、外部和信息理论指标应用于评估聚类结果？
• RQ4 现存哪些聚类超参数调优策略以提升性能？

主要发现

• Kleinberg 的不可能性定理表明没有聚类函数能够同时满足三条公理。
• 存在广泛的内部与外部验证指标来评估聚类质量（无外部信息的内部评估，或有外部信息的外部评估）。
• 内部验证关注凝聚性和分离度，轮廓系数和 CPCC 等指标在不同算法类型上的适用性不同。
• 外部验证依赖于匹配分区、成对相关性和信息理论度量，与参考分区比较聚类结果。
• 聚类的超参数调优可以使用网格/随机/-smart 搜索策略，拐点/膝点启发式有助于选择聚类数。