[论文解读] Clustering Validation with The Area Under Precision-Recall Curves

Pablo Andretta Jaskowiak, Ivan G. Costa|arXiv (Cornell University)|Apr 4, 2023

Data-Driven Disease Surveillance被引用 4

一句话总结

本文提出将精确率-召回率曲线下面积（AUPR）及其对称变体（SAUPRC）用作相对聚类验证指数（CVIs），以评估聚类结果，尤其在聚类规模不平衡的情况下。结果表明，基于AUPR的CVIs，特别是SAUPRC，在平衡与不平衡数据中均优于现有的Silhouette和AUCC等指标，为无监督学习评估提供了一个统一且可靠的框架。

ABSTRACT

Confusion matrices and derived metrics provide a comprehensive framework for the evaluation of model performance in machine learning. These are well-known and extensively employed in the supervised learning domain, particularly classification. Surprisingly, such a framework has not been fully explored in the context of clustering validation. Indeed, just recently such a gap has been bridged with the introduction of the Area Under the ROC Curve for Clustering (AUCC), an internal/relative Clustering Validation Index (CVI) that allows for clustering validation in real application scenarios. In this work we explore the Area Under Precision-Recall Curve (and related metrics) in the context of clustering validation. We show that these are not only appropriate as CVIs, but should also be preferred in the presence of cluster imbalance. We perform a comprehensive evaluation of proposed and state-of-art CVIs on real and simulated data sets. Our observations corroborate towards an unified validation framework for supervised and unsupervised learning, given that they are consistent with existing guidelines established for the evaluation of supervised learning models.

研究动机与目标

• 解决聚类验证缺乏与监督学习相当的全面评估框架的问题。
• 探究基于精确率-召回率曲线的度量（AUPR）是否可作为相对CVI有效使用，特别是在聚类规模不平衡的情境下。
• 提供一个统一的评估框架，使聚类验证与监督学习中的既定实践保持一致。
• 在具有不同不平衡程度的合成数据和真实世界数据上，评估基于AUPR的CVIs与最先进指标的性能表现。
• 证明SAUPRC在平衡与不平衡数据上均表现出色，使其成为通用聚类验证的稳健选择。

提出的方法

• 提出三种基于精确率-召回率曲线下面积（AUPRC）的新相对CVIs，包括一个对称变体（SAUPRC），该变体结合了AUPRC与AUIPRC。
• 将二分类中的精确率-召回率曲线框架适配到聚类任务中，将聚类分配视为相对于参考划分的二元预测。
• 通过在所有对象对之间评估成对聚类分配，利用外部参考划分作为真实标签，计算AUPR与AUIPRC得分。
• 使用对称的AUPRC（SAUPRC）作为混合度量，通过平均AUPRC与AUIPRC来平衡在平衡与不平衡数据上的表现。
• 将所提出的CVIs应用于具有可控聚类不平衡的合成数据集以及来自Tabula Muris项目的单细胞RNA-seq真实数据。
• 以调整兰德指数（ARI）作为外部基准，将所提出的CVIs与现有指标（如Silhouette、AUCC、Dunn、C-Index）进行比较。

Figure 2: Characterization of cluster size imbalance in the distinct evaluation scenarios.

实验结果

研究问题

• RQ1 精确率-召回率曲线下面积（AUPR）能否作为可靠的相对聚类验证指数？
• RQ2 在不同聚类规模不平衡程度下，基于AUPR的CVIs相较于现有CVIs表现如何？
• RQ3 结合AUPRC与AUIPRC的对称AUPRC（SAUPRC）是否在平衡与不平衡聚类场景中均提供更优且更稳定的性能？
• RQ4 基于AUPR的度量在多大程度上与监督学习中既定的评估准则保持一致，特别是在不平衡设置下？
• RQ5 基于AUPR的CVIs能否有效应用于具有固有聚类不平衡的现实世界生物数据，如单细胞基因组学数据集？

主要发现

• 即使在平衡数据上，SAUPRC与调整兰德指数（ARI）的中位相关系数也高于0.75，优于Silhouette和AUCC等现有CVIs。
• 在高度不平衡数据（90%不平衡）下，SAUPRC的中位相关系数接近1.0，表明与外部基准高度一致。
• 随着聚类不平衡程度增加，AUPRC与SAUPRC的性能均有所提升，中位相关系数从约0.75（平衡）上升至约0.95（90%不平衡）。
• 相比之下，PB（点双列）与PBM CVIs在不平衡下显著恶化，在90%不平衡时中位相关系数降至-1.0。
• AUCC与DB在不同不平衡水平下表现稳定，但在平衡与不平衡场景中均被SAUPRC超越。
• C/Sqrt(k)在平衡数据上与ARI呈负相关，但随不平衡程度增加而改善，其中位相关系数仍低于0.5，表明仅具有中等性能。

Figure 3: Boxplots depict correlation between the evaluations of each relative CVI and those of the Adjusted Rand Index (ARI), i.e., the external CVI. Results are sorted according to the average correlation value, which is indicated by a circle in each boxplot.