[논문 리뷰] From $t$-SNE to UMAP with contrastive learning

Sebastian Damrich, Jan Niklas Böhm외 2명|arXiv (Cornell University)|2022. 06. 03.

Data Visualization and Analytics인용 수 4

한 줄 요약

이 논문은 대조 학습을 통해 t-SNE와 UMAP 사이의 개념적 연결을 수립하며, t-SNE가 노이즈 대비 추정(NCE)을 사용하는 반면 UMAP는 음성 샘플링(NEG)을 사용하여 더 조밀하고 단단한 군집을 유도하는 왜곡을 유발한다는 점을 보여준다. 저자들은 이러한 방법들 사이를 보간하는 통합된 임베딩 스펙트럼을 제안하여 국소적 구조와 전반적 구조 사이의 제어 가능한 트레이드오프를 가능하게 하며, 단일 임베딩 아티팩트에 대한 과도한 해석으로부터의 저항력을 향상시킨다.

ABSTRACT

Neighbor embedding methods $t$-SNE and UMAP are the de facto standard for visualizing high-dimensional datasets. Motivated from entirely different viewpoints, their loss functions appear to be unrelated. In practice, they yield strongly differing embeddings and can suggest conflicting interpretations of the same data. The fundamental reasons for this and, more generally, the exact relationship between $t$-SNE and UMAP have remained unclear. In this work, we uncover their conceptual connection via a new insight into contrastive learning methods. Noise-contrastive estimation can be used to optimize $t$-SNE, while UMAP relies on negative sampling, another contrastive method. We find the precise relationship between these two contrastive methods and provide a mathematical characterization of the distortion introduced by negative sampling. Visually, this distortion results in UMAP generating more compact embeddings with tighter clusters compared to $t$-SNE. We exploit this new conceptual connection to propose and implement a generalization of negative sampling, allowing us to interpolate between (and even extrapolate beyond) $t$-SNE and UMAP and their respective embeddings. Moving along this spectrum of embeddings leads to a trade-off between discrete / local and continuous / global structures, mitigating the risk of over-interpreting ostensible features of any single embedding. We provide a PyTorch implementation.

연구 동기 및 목표

• t-SNE와 UMAP 사이의 개념적 관계를 명확히 하여, 차원 축소에서 오랫동안 관련이 없다고 여겨져 온 두 방법 간의 관계를 규명한다.
• NCE와 NEG라는 각각의 대조 학습 방법을 분석함으로써 t-SNE와 UMAP 간의 구조적 차이의 수학적 근원을 규명한다.
• t-SNE와 UMAP 사이를 보간하는 일반화된 임베딩 프레임워크를 개발하여 국소적 구조와 전반적 구조 사이의 제어 가능한 탐색을 가능하게 한다.
• 음성 샘플링으로 인해 발생하는 UMAP의 불안정성 문제를 특정하고 수정한다.
• 대조적 이웃 임베딩을 위한 통합적이고 오픈소스인 PyTorch 기반 구현을 제공한다.

제안 방법

• t-SNE를 노이즈 대비 추정(NCE)으로 재구성하여 UMAP의 음성 샘플링(NEG) 접근과 직접 비교할 수 있도록 한다.
• NCE와 NEG 사이의 정확한 수학적 관계를 유도하며, NEG가 유사도 지도에 체계적인 왜곡을 유도한다는 것을 보여준다.
• 조절 가능한 정규화 상수 $\bar{Z}$를 사용하여 t-SNE ($\bar{Z} = Z^{t\text{-SNE}}$)와 UMAP ($\bar{Z} = |X|/m$) 사이를 보간하는 일반화된 임베딩 프레임워크를 도입한다.
• t-SNE와 UMAP를 일반화하는 샘플링 기반 최적화 방법을 구현하여 임베딩 스펙트럼 전반에 걸친 부드러운 전이를 가능하게 한다.
• 특히 낮은 $\bar{Z}$ 값에서의 훈련 안정성을 높이기 위해 새로운 프레임워크에 초기 과도화 유사 전략을 적용한다.
• 비모수적 및 매개변수적 변형을 모두 지원하는 PyTorch 기반 구현을 제공하며, NC- 및 InfoNC-t-SNE를 포함한다.

실험 결과

연구 질문

• RQ1 서로 다른 손실 함수와 시각적 출력을 가진 t-SNE와 UMAP 사이의 근본적인 개념적 관계는 무엇인가?
• RQ2 UMAP의 음성 샘플링은 t-SNE의 노이즈 대비 추정과 수학적으로 어떻게 다를까? 그로 인해 발생하는 왜곡은 무엇인가?
• RQ3 t-SNE와 UMAP 사이를 보간하는 연속적인 임베딩 스펙트럼을 구성할 수 있는가? 이를 통해 국소적 및 전반적 구조의 제어 가능한 탐색이 가능한가?
• RQ4 제안된 프레임워크는 UMAP의 불안정성 문제, 특히 군집 간 분리도와 조밀함 측면에서 개선되는가?
• RQ5 기존의 대조 방법과 비교했을 때, 새로운 프레임워크는 이웃 구조와 전반적 토폴로지의 유지에 있어 어떻게 성능을 발휘하는가?

주요 결과

• UMAP에서 음성 샘플링으로 인한 왜곡은 t-SNE가 노이즈 대비 추정을 사용하는 것보다 더 조밀하고 밀도 높은 군집을 유도한다.
• $\bar{Z} = Z^{t\text{-SNE}}$일 때, 일반화된 임베딩은 t-SNE에 매우 가까이 근사한다; $\bar{Z} = |X|/m$일 땐 UMAP의 행동을 정확히 재현한다.
• NC- 및 InfoNC-t-SNE의 구현은 표준 t-SNE에 비해 초기 과도화에 대한 의존도가 감소하고 안정성이 향상됨을 보였다.
• 장기적인 최적화 시간은 Neg-t-SNE 임베딩의 품질을 크게 향상시키며, Kuzushiji-49 데이터셋에서 10,000 에포크 동안 KL 발산이 5.52에서 4.65로 감소하였다.
• NC- 및 InfoNC-t-SNE에서 더 높은 노이즈 샘플 수($m$)는 스피어만 상관계수의 열화 없이 k-NN 재현율을 향상시켜 국소 구조의 더 나은 유지가 가능함을 시사한다.
• 제안된 임베딩 스펙트럼은 이산적 국소 구조와 연속적 전반적 구조 사이의 트레이드오프를 체계적으로 탐색할 수 있도록 하여, 개별 시각화 결과에 대한 과도한 해석 위험을 줄인다.