[논문 리뷰] Classes are not Clusters: Improving Label-based Evaluation of Dimensionality Reduction

Hyeon Jeon, Yun-Hsin Kuo외 3명|arXiv (Cornell University)|2023. 08. 01.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

이 논문은 차원 감소(DR)를 평가하기 위해 원본 공간과 임bedded 공간 간의 클러스터-라벨 매칭(CLM) 변화를 정량화하는 새로운 손실 기반 측정법인 Label-Trustworthiness와 Label-Continuity(Label-T&C)을 제안한다. 이는 클래스가 본질적으로 잘 군집되어 있다는 잘못된 가정에 의존하지 않으며, CLM 손실을 탐지하는 데 기존 방법보다 뛰어나며, 다양한 군집 밀도 수준에서 DR 기법 간의 내재적 차이를 드러낸다.

ABSTRACT

A common way to evaluate the reliability of dimensionality reduction (DR) embeddings is to quantify how well labeled classes form compact, mutually separated clusters in the embeddings. This approach is based on the assumption that the classes stay as clear clusters in the original high-dimensional space. However, in reality, this assumption can be violated; a single class can be fragmented into multiple separated clusters, and multiple classes can be merged into a single cluster. We thus cannot always assure the credibility of the evaluation using class labels. In this paper, we introduce two novel quality measures -- Label-Trustworthiness and Label-Continuity (Label-T&C) -- advancing the process of DR evaluation based on class labels. Instead of assuming that classes are well-clustered in the original space, Label-T&C work by (1) estimating the extent to which classes form clusters in the original and embedded spaces and (2) evaluating the difference between the two. A quantitative evaluation showed that Label-T&C outperform widely used DR evaluation measures (e.g., Trustworthiness and Continuity, Kullback-Leibler divergence) in terms of the accuracy in assessing how well DR embeddings preserve the cluster structure, and are also scalable. Moreover, we present case studies demonstrating that Label-T&C can be successfully used for revealing the intrinsic characteristics of DR techniques and their hyperparameters.

연구 동기 및 목표

• 고차원 데이터에서 클래스 레이블이 본질적으로 참 클러스터 구조를 반영한다는 잘못된 가정에 기반한 라벨 기반 DR 평가의 근본적 결함을 해결한다.
• 원본 공간에서 클래스 레이블이 분할되거나 융합될 경우 표준 군집 검증 측정법이 무력화되는 위험을 완화한다.
• 레이블 유효성에 대한 가정 없이 차원 감소 과정에서의 클러스터 구조 보존 손실을 정량화하는 견고한 평가 프레임워크를 개발한다.
• 클래스 레이블이 원본 및 임bedded 클러스터 구조를 어떻게 커버하는지 측정함으로써 DR 기법과 하이퍼파라미터에 대한 더 정확하고 신뢰할 수 있는 평가를 가능하게 한다.
• DR 임베딩 기반 시각적 군집 분석의 신뢰성 진단을 위한 확장 가능하고 해석 가능한 방법을 제공한다.

제안 방법

• Label-Trustworthiness(Label-T)를 제안하여 CLM 열화 정도를 측정한다: 낮은 점수는 서로 다른 클래스의 점들이 원본 공간보다 임베딩 공간에서 더 가까이 옮겨졌음을 의미한다.
• Label-Continuity(Label-C)를 정의하여 CLM 과대평가 정도를 측정한다: 낮은 점수는 서로 다른 클래스의 점들이 원본 공간보다 임베딩 공간에서 더 멀어졌음을 의미한다.
• DSC 및 CH_btwn 등의 군집 검증 측정법(CVMs)을 사용해 원본 및 임베딩 공간에서의 CLM를 추정한 후, 그 차이를 손실로 계산한다.
• 평가를 손실 인식 프로세스로 프레임워크화한다: 원본 공간에서 좋은 CLM를 가정하는 대신, DR로 인해 CLM가 얼마나 변화하는지 측정한다.
• DSC, CH_btwn 등의 CVMs를 사용해 양 공간에서 CLM를 계산한 후, Label-T와 Label-C를 CLM 점수의 차이로 계산한다.
• 효율적인 CVMs를 사용하고 비용이 많이 드는 쌍방향 거리 계산을 피함으로써 확장성을 확보하여 대규모 데이터셋에서도 활용 가능하게 한다.

실험 결과

연구 질문

• RQ1 실제로 원본 공간에서 클래스 레이블이 일관된 군집을 이룬다는 가정이 얼마나 타당한가?
• RQ2 클래스 레이블이 진정한 기반 군집 구조를 반영하지 못할 경우, DR 임베딩의 신뢰성은 어떻게 평가할 수 있는가?
• RQ3 레이블 유효성에 의존하지 않고 클러스터 구조 보존의 손실을 탐지할 수 있는 DR 평가 방법을 설계할 수 있는가?
• RQ4 다양한 군집 밀도 수준에서 서로 다른 DR 기법과 하이퍼파라미터는 클러스터 구조 보존에 어떻게 영향을 미치는가?
• RQ5 Label-T&C는 기존 평가 지표인 Trustworthiness나 KL 발산으로는 캐치하지 못하는 DR 방법의 내재적 특성을 드러낼 수 있는가?

주요 결과

• Label-T&C는 기존의 Trustworthiness, Continuity, KL 발산과 같은 전통적 측정법보다 DR 임베딩에서 발생하는 Missing Groups 및 False Groups 손실을 더 잘 탐지한다.
• LLE는 미세한 군집 밀도 수준에서 높은 Label-Continuity(낮은 Missing Groups)를 보이나 낮은 Label-Trustworthiness(높은 False Groups)를 보이며, 국소 재구성 중심의 특성과 낮은 KL 발산 점수와 일치한다.
• t-SNE와 UMAP는 가장 낮은 Label-Continuity 점수를 보이며, 글로벌 수준에서 군집 간 분리가 과대평가됨을 시사하여 글로벌 군집 분석에 대한 신뢰도를 떨어뜨린다.
• PCA는 군집 밀도가 낮은 수준에서 가장 높은 Label-T&C 점수를 기록하며, 글로벌 군집 구조 보존 능력이 뛰어나고 KL 발산 성능과도 일치함을 확인한다.
• Densmap는 UMAP 대비 더 나은 Label-Continuity를 보이나 더 나쁜 Label-Trustworthiness를 보이며, 이는 Missing Groups를 줄이지만 False Groups를 증가시키며, 이는 더 큰 군집 크기 때문일 것이다.
• Label-T&C는 Densmap가 UMAP보다 글로벌 군집 구조를 더 잘 보존한다는 점을 드러내며, KL 발산으로도 확인되었고, 기존 지표로는 드러나지 않는 군집 밀도 및 겹침의 미세한 차이를 탐지할 수 있음을 보여준다.