[论文解读] Classes are not Clusters: Improving Label-based Evaluation of Dimensionality Reduction

Hyeon Jeon, Yun-Hsin Kuo+3 more|arXiv (Cornell University)|Aug 1, 2023

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

本文提出了基于失真度量的新型指标 Label-Trustworthiness 和 Label-Continuity（Label-T&C），通过量化原始空间与嵌入空间之间聚类-标签匹配（CLM）的变化来评估降维（DR）效果，避免了依赖于‘类别天然具有良好聚类性’这一有缺陷的假设。Label-T&C 在检测 CLM 失真方面优于现有方法，并揭示了不同 DR 技术在不同聚类粒度下的内在差异。

ABSTRACT

A common way to evaluate the reliability of dimensionality reduction (DR) embeddings is to quantify how well labeled classes form compact, mutually separated clusters in the embeddings. This approach is based on the assumption that the classes stay as clear clusters in the original high-dimensional space. However, in reality, this assumption can be violated; a single class can be fragmented into multiple separated clusters, and multiple classes can be merged into a single cluster. We thus cannot always assure the credibility of the evaluation using class labels. In this paper, we introduce two novel quality measures -- Label-Trustworthiness and Label-Continuity (Label-T&C) -- advancing the process of DR evaluation based on class labels. Instead of assuming that classes are well-clustered in the original space, Label-T&C work by (1) estimating the extent to which classes form clusters in the original and embedded spaces and (2) evaluating the difference between the two. A quantitative evaluation showed that Label-T&C outperform widely used DR evaluation measures (e.g., Trustworthiness and Continuity, Kullback-Leibler divergence) in terms of the accuracy in assessing how well DR embeddings preserve the cluster structure, and are also scalable. Moreover, we present case studies demonstrating that Label-T&C can be successfully used for revealing the intrinsic characteristics of DR techniques and their hyperparameters.

研究动机与目标

• 解决基于标签的 DR 评估中的根本性缺陷：即假设类别标签天然反映了高维数据中的真实聚类结构。
• 克服当类别标签在原始空间中发生碎片化或合并时，导致标准聚类验证度量失效而引发的误导性结论风险。
• 构建一个稳健的评估框架，量化降维过程中聚类结构保持的失真程度，而无需假设标签的有效性。
• 通过测量类别标签在原始空间与嵌入空间中如何对应聚类结构，实现对 DR 技术及其超参数更准确、更可靠的评估。
• 提供一种可扩展、可解释的方法，用于诊断基于 DR 嵌入的视觉聚类分析结果的可信度。

提出的方法

• 提出 Label-Trustworthiness（Label-T）作为 CLM 劣化程度的度量：得分越低，表示来自不同类别的点在嵌入空间中比在原始空间中更接近。
• 定义 Label-Continuity（Label-C）作为 CLM 夸大程度的度量：得分越低，表示来自不同类别的点在嵌入空间中比在原始空间中更远。
• 使用聚类验证度量（CVMs），如 DSC 和 CH_btwn，估计原始空间与嵌入空间中的 CLM，然后通过计算差异来获得失真程度。
• 将评估框架化为一种失真感知过程：不假设原始空间中 CLM 本身良好，而是测量 DR 所导致的 CLM 变化程度。
• 对原始空间与嵌入空间分别应用 CVMs（如 DSC、CH_btwn）以计算 CLM，再将 Label-T 与 Label-C 定义为 CLM 得分的差异。
• 通过使用高效的 CVMs 并避免昂贵的成对距离计算，确保可扩展性，从而支持在大规模数据集上的应用。

实验结果

研究问题

• RQ1 在实际中，类别标签在原始空间中天然构成连贯聚类的假设在多大程度上成立？
• RQ2 当类别标签可能无法反映真实底层聚类结构时，如何评估 DR 嵌入的可靠性？
• RQ3 我们能否设计一种 DR 评估方法，检测聚类结构保持过程中的失真，而无需依赖类别标签的有效性？
• RQ4 不同 DR 技术及其超参数如何影响在不同聚类粒度下聚类结构的保持程度？
• RQ5 Label-T&C 是否能揭示标准评估指标（如 Trustworthiness 或 KL 散度）所无法捕捉的 DR 方法内在特性？

主要发现

• Label-T&C 在检测 DR 嵌入中‘缺失聚类’和‘虚假聚类’失真方面，优于传统度量如 Trustworthiness、Continuity 和 KL 散度。
• LLE 在细粒度下表现出较高的 Label-Continuity（即‘缺失聚类’较少），但较低的 Label-Trustworthiness（即‘虚假聚类’较多），这与它基于局部重建的特点以及较差的 KL 散度得分一致。
• t-SNE 和 UMAP 在全局层面上表现出最差的 Label-Continuity 分数，表明它们在全局上夸大了聚类分离程度，从而降低了其在全局聚类分析中的可靠性。
• PCA 在粗粒度下取得最佳的 Label-T&C 得分，证实其在保持全局聚类结构方面的优势，并与高 KL 散度表现一致。
• Densmap（一种密度保持型 UMAP 变体）的 Label-Continuity 优于 UMAP，但 Label-Trustworthiness 更差，表明其减少了‘缺失聚类’但增加了‘虚假聚类’，可能由于聚类规模更大所致。
• Label-T&C 揭示 Densmap 比 UMAP 更好地保持了全局聚类结构，这一结论得到了 KL 散度的验证，且能检测到标准度量无法察觉的聚类密度和重叠的细微差异。