[論文レビュー] Classes are not Clusters: Improving Label-based Evaluation of Dimensionality Reduction

Hyeon Jeon, Yun-Hsin Kuo+3 more|arXiv (Cornell University)|Aug 1, 2023

Domain Adaptation and Few-Shot Learning被引用数 4

ひとこと要約

本稿では、元の空間と埋め込み空間におけるクラスタ-ラベルマッチング（CLM）の変化を定量化することで次元削減（DR）を評価する、歪みに基づく新しい指標であるラベル信頼性（Label-T）とラベル連続性（Label-C）を導入する。この手法は、クラスが本質的に良好にクラスタリングされているという誤った仮定に依存しない。Label-T&Cは、既存の手法に比べてCLMの歪みをより効果的に検出でき、クラスタリングの粒度に応じたDR手法の本質的差異を明らかにする。

ABSTRACT

A common way to evaluate the reliability of dimensionality reduction (DR) embeddings is to quantify how well labeled classes form compact, mutually separated clusters in the embeddings. This approach is based on the assumption that the classes stay as clear clusters in the original high-dimensional space. However, in reality, this assumption can be violated; a single class can be fragmented into multiple separated clusters, and multiple classes can be merged into a single cluster. We thus cannot always assure the credibility of the evaluation using class labels. In this paper, we introduce two novel quality measures -- Label-Trustworthiness and Label-Continuity (Label-T&C) -- advancing the process of DR evaluation based on class labels. Instead of assuming that classes are well-clustered in the original space, Label-T&C work by (1) estimating the extent to which classes form clusters in the original and embedded spaces and (2) evaluating the difference between the two. A quantitative evaluation showed that Label-T&C outperform widely used DR evaluation measures (e.g., Trustworthiness and Continuity, Kullback-Leibler divergence) in terms of the accuracy in assessing how well DR embeddings preserve the cluster structure, and are also scalable. Moreover, we present case studies demonstrating that Label-T&C can be successfully used for revealing the intrinsic characteristics of DR techniques and their hyperparameters.

研究の動機と目的

• ラベルベースのDR評価における根本的欠陥、すなわち高次元データにおけるクラスラベルが本質的に真のクラスタ構造を反映しているという仮定を是正すること。
• 元の空間でクラスラベルが断片化または融合している場合に、標準的なクラスタバリデーション指標が誤った結論を導くリスクを回避すること。
• ラベルの有効性を仮定せずに、次元削減におけるクラスタ構造の保存の歪みを定量化する、頑健な評価フレームワークを構築すること。
• クラスラベルが元の空間と埋め込み空間の両方のクラスタ構造にどのように分布するかを測定することで、DR手法およびハイパーパramータのより正確で信頼性の高い評価を可能にすること。
• DR埋め込みに基づく視覚的クラスタ分析の信頼性を診断するためのスケーラブルで解釈可能な手法を提供すること。

提案手法

• クラスタ-ラベルマッチング（CLM）の劣化を測る指標としてラベル信頼性（Label-T）を提案：低いスコアは、元の空間よりも埋め込み空間で異なるクラスに属する点が近づいていることを示す。
• CLMの誇張を測る指標としてラベル連続性（Label-C）を定義：低いスコアは、元の空間よりも埋め込み空間で異なるクラスに属する点が離れていることを示す。
• DSC や CH_btwn などのクラスタリングバリデーション指標（CVM）を用いて、元の空間および埋め込み空間におけるCLMを推定し、その差を歪みとして計算する。
• 評価を歪みに配慮したプロセスとしてフレームワーク化：元の空間で良いCLMがあると仮定するのではなく、DRによってCLMがどの程度変化したかを測定する。
• DSC や CH_btwn などのCVMを用いて両空間におけるCLMを計算し、Label-T および Label-C をCLMスコアの差として算出する。
• 高価なペアワイズ距離計算を回避し、効率的なCVMを用いることでスケーラビリティを確保し、大規模データセットへの適用を可能にする。

実験結果

リサーチクエスチョン

• RQ1 実際には、クラスラベルが元の空間で一貫したクラスタを形成すると仮定するのはどの程度妥当か？
• RQ2 クラスラベルが真の潜在的クラスタ構造を反映しない場合、DR埋め込みの信頼性をどのように評価できるか？
• RQ3 クラスラベルの有効性に依存せずに、クラスタ構造の保存の歪みを検出できるDR評価手法を設計できるか？
• RQ4 異なるDR手法およびハイパーパramータは、クラスタリングの粒度に応じて、クラスタ構造の保存にどのように影響を与えるか？
• RQ5 Label-T&Cは、信頼性やKLダイバージェンスといった標準的評価指標では捉えきれないDR手法の本質的特徴を明らかにできるか？

主な発見

• Label-T&Cは、Trustworthiness や Continuity、KLダイバージェンスといった従来の指標よりも、DR埋め込みにおける「欠落したグループ」と「誤ったグループ」の歪みをより効果的に検出する。
• LLEは細粒度において高いラベル連続性（低い「欠落したグループ」）を示すが、低いラベル信頼性（高い「誤ったグループ」）を示し、局所的再構成に特化していることと、KLダイバージェンスの低いスコアと整合的である。
• t-SNE と UMAP は、グローバルレベルで最も低いラベル連続性スコアを示しており、クラスタ間の分離を誇張していることが判明し、グローバルクラスタ分析における信頼性を損なっている。
• PCA は粗粒度において最良の Label-T&C スコアを達成しており、グローバルクラスタ構造の保存が優れていることを確認し、KLダイバージェンスの高い性能とも整合的である。
• 密度を保つUMAPの変種であるDensmapは、UMAPに比べてより良いラベル連続性を示すが、より悪いラベル信頼性を示しており、これは「欠落したグループ」は減少させるが「誤ったグループ」を増加させることを示唆している。これは、クラスタサイズが大きくなることが原因と考えられる。
• Label-T&Cは、KLダイバージェンスの結果とも一致し、DensmapがUMAPよりもグローバルクラスタ構造をよりよく保存していることを明らかにした。また、標準的指標では見えにくいクラスタ密度や重なりの微細な差異を検出できる。