[논문 리뷰] Relating tSNE and UMAP to Classical Dimensionality Reduction

Andrew Draganov, Simon Dohn|arXiv (Cornell University)|2023. 06. 20.

Explainable Artificial Intelligence (XAI)인용 수 6

한 줄 요약

이 논문은 현대적인 유인/반발력 기반 차원 축소 방법(tSNE, UMAP)과 고전적 방법(PCA, LLE) 사이의 이론적 연결을 수립하여, PCA가 유인/반발 동역학을 통해 복원될 수 있음을 보이고, UMAP의 커널을 사용할 경우 LLE 기울기와 tSNE/UMAP 기울기가 매우 유사함을 밝혀낸다. 주요 기여는 ARDR 방법과 고전적 DR 간의 공식적 프레임워크를 제공함으로써 tSNE/UMAP 임bedding에 대한 수렴 보장과 해석 가능성의 가능성을 열어준다.

ABSTRACT

It has become standard to use gradient-based dimensionality reduction (DR) methods like tSNE and UMAP when explaining what AI models have learned. This makes sense: these methods are fast, robust, and have an uncanny ability to find semantic patterns in high-dimensional data without supervision. Despite this, gradient-based DR methods lack the most important quality that an explainability method should possess: themselves being explainable. That is, given a UMAP output, it is currently unclear what one can say about the corresponding input. We work towards closing this question by relating UMAP to classical DR techniques. Specifically, we show that one can fully recover methods like PCA, MDS, and ISOMAP in the modern DR paradigm: by applying attractions and repulsions onto a randomly initialized dataset. We also show that, with a small change, Locally Linear Embeddings (LLE) can indistinguishably reproduce UMAP outputs. This implies that the UMAP effective objective is minimized by this modified version of LLE (and vice versa). Given this, we discuss what must be true of UMAP emebddings and present avenues for future work.

연구 동기 및 목표

• tSNE와 UMAP는 신경망 표현을 설명하는 데 널리 사용되지만, 이들의 수렴 보장과 해석 가능성에 대한 부족함을 보완하기 위해.
• 잘 이해된 고전적 차원 축소 방법(PCA, LLE 등)과 tSNE, UMAP와 같은 현대적 유인/반발 기반 차원 축소(ARDR) 방법 사이의 격차를 메우기 위해.
• ARDR 임베딩이 원래 데이터 분포로 의미 있게 귀환될 수 있는 조건을 공식화하기 위해.
• tSNE와 UMAP가 특정 커널을 사용할 경우 고전적 DR 목표를 최적화하는 것으로 재해석될 수 있는지 조사하기 위해.
• tSNE/UMAP와 유사한 임베딩을 직접적이고 반복하지 않는 방식으로 계산할 수 있는 길을 제안하여 이론적 보장을 제공하기 위해.

제안 방법

• 유인 및 반발력으로 고전적 DR 방법(PCA, LLE)을 ARDR 설정 내에서 표현할 수 있는 프레임워크를 공식화한다.
• 랜덤 초기화된 데이터에 유인/반발 동역학을 적용할 경우, 심지어 낮은 랭크 근사에서도 PCA 임베딩을 증명 가능하게 복원할 수 있음을 보여준다.
• UMAP의 커널을 사용하여 LLE 목표를 최소화할 경우, tSNE 및 UMAP의 기울기와 임베딩이 매우 유사한 결과를 얻는다.
• 고전적 DR과 ARDR 방법 간의 임베딩 간 구조적 유사성을 측정하기 위해 메트릭 $ f^* $ 를 도입한다.
• 추측 1: UMAP의 커널을 사용할 경우, 임베딩 공간에서 UMAP의 기울기 동역학은 평균적으로 LLE 기울기와 일치한다.
• 추측 2: tSNE/UMAP의 전역 최적해를 $ (1\pm\varepsilon) $-최적 비용으로 보장할 수 있는 직접적이고 반복하지 않는 알고리즘이 존재한다.

실험 결과

연구 질문

• RQ1 PCA 및 LLE와 같은 고전적 차원 축소 방법이 유인 및 반발력 동역학을 통해 복원될 수 있는가?
• RQ2 임베딩 공간에서 UMAP의 커널을 사용할 경우, tSNE 및 UMAP의 기울기가 고전적 DR 방법의 기울기와 어느 정도 일치하는가?
• RQ3 tSNE 및 UMAP의 임베딩과 증명 가능하게 유사한 결과를 내는 직접적이고 반복하지 않는 방법이 존재하는가?
• RQ4 입력 데이터에서 어떤 구조적 특성이 tSNE/UMAP 임베딩에서 동일한 2차원 영역에 매핑되는 경우에 일관되게 유지되는가?
• RQ5 어떤 조건에서 고전적 DR 방법의 해석 가능성은 tSNE 및 UMAP와 같은 ARDR 방법으로 이행될 수 있는가?

주요 결과

• 랜덤으로 초기화된 데이터에 유인 및 반발력을 적용할 경우, 심지어 빠른 낮은 랭크 근사에서도 PCA 임베딩을 증명 가능하게 복원할 수 있다.
• UMAP의 커널을 사용하여 LLE 목표를 최소화할 경우, 실험적으로 tSNE 및 UMAP의 임베딩과 유사한 구조적 특성을 가지는 결과를 도출할 수 있다.
• UMAP의 커널을 사용할 경우, UMAP의 기울기 동역학은 평균적으로 LLE 기울기와 양의 상관관계를 보이며, 이는 추측 1을 지지한다.
• 제안된 프레임워크와 메트릭 $ f^* $ 는 ARDR와 고전적 DR 임베딩 간의 구조적 유사성을 정량화하여 공식적인 비교를 가능하게 한다.
• 추측 2는 직접적이고 반복하지 않는 알고리즘이 존재할 수 있으며, 이는 $ (1\pm\varepsilon) $-최적 비용을 보장하는 tSNE/UMAP 임베딩을 계산할 수 있음을 시사한다.
• 결과는 tSNE/UMAP 임베딩의 핵심 구조가 특히 이중 커널을 사용한 LLE의 잠재된 고전적 DR 목표에 기인할 수 있음을 암시한다.