[논문 리뷰] Understanding How Dimension Reduction Tools Work: An Empirical Approach to Deciphering t-SNE, UMAP, TriMAP, and PaCMAP for Data Visualization

Yingfan Wang, Haiyang Huang외 2명|arXiv (Cornell University)|2020. 12. 08.

Data Visualization and Analytics참고 문헌 46인용 수 241

한 줄 요약

본 논문은 DR 방법에서 왜 지역(local)과 전역(global) 구조가 보존되는지 분석하고, 효과적인 손실 설계 원칙을 제시하며, 두 구조를 모두 보존하는 새로운 알고리즘 PaCMAP를 제시합니다. 또한 그래프 구성요소 선택 및 초기화 영향에 대한 지침을 제공합니다.

ABSTRACT

Dimension reduction (DR) techniques such as t-SNE, UMAP, and TriMAP have demonstrated impressive visualization performance on many real world datasets. One tension that has always faced these methods is the trade-off between preservation of global structure and preservation of local structure: these methods can either handle one or the other, but not both. In this work, our main goal is to understand what aspects of DR methods are important for preserving both local and global structure: it is difficult to design a better method without a true understanding of the choices we make in our algorithms and their empirical impact on the lower-dimensional embeddings they produce. Towards the goal of local structure preservation, we provide several useful design principles for DR loss functions based on our new understanding of the mechanisms behind successful DR methods. Towards the goal of global structure preservation, our analysis illuminates that the choice of which components to preserve is important. We leverage these insights to design a new algorithm for DR, called Pairwise Controlled Manifold Approximation Projection (PaCMAP), which preserves both local and global structure. Our work provides several unexpected insights into what design choices both to make and avoid when constructing DR algorithms.

연구 동기 및 목표

• DR 손실 함수의 어떤 측면이 지역 구조 보존과 전역 구조 보존에 영향을 미치는지 식별한다.
• 그래프 구성요소(이웃, 중간-가까운, 더 먼 점)가 임베딩에 어떤 영향을 미치는지 이해한다.
• 지역 및 전역 구조를 모두 보존하는 간단한 손실을 개발한다.
• 초기화 및 스케일링이 DR 성능에 어떤 영향을 미치는지 보여준다.
• PaCMAP를 도입하고 두 구조를 모두 보존하는 능력을 입증한다.

제안 방법

• 손실 함수 및 그래프 구성요소 분석을 통해 t-SNE, UMAP, TriMap, PaCMAP를 검토하고 비교한다.
• 그래프 구조에 연결된 고차원 및 저차원 분해로 손실을 분해하는 통합된 DR 목표를 제안한다.
• 손실 메커니즘을 방법 간에 비교하기 위한 시각화 도구로 rainbow figure를 도입한다.
• 지역 구조 보존과 전역 구조 인식을 우선시하는 손실 설계 원칙을 도출한다.
• 이웃, 중간-가까운, 더 먼 점 쌍에 대한 3단계 가중치 체계를 갖춘 PaCMAP를 정의하고 구현한다.

실험 결과

연구 질문

• RQ1 DR 손실 함수의 어떤 측면이 지역 구조 보존과 전역 구조 보존에 영향을 미치는지 중요한가?
• RQ2 간단한 손실 함수가 하나의 프레임워크에서 지역 및 전역 구조를 모두 보존할 수 있는가?
• RQ3 그래프 구성요소(이웃, 중간-가까운, 더 먼 점)가 임베딩 품질에 어떤 영향을 미치는가?
• RQ4 초기화가 전역 구조 보존을 위해 DR 성능에 어떤 역할을 하는가?
• RQ5 새로운 알고리즘(PaCMAP)이 확인된 원칙을 구현하고 기존 방법보다 두 구조 보존에서 뛰어난가?

주요 결과

• 손실 함수 설계 및 그래프 구성요소의 선택이 DR 임베딩의 지역 및 전역 구조 보존에 결정적으로 영향을 미친다.
• 그래프 구성요소를 따라 손실을 고차원 및 저차원 용어로 분해하는 통합된 DR 목표가 원리적 분석을 가능하게 한다.
• PaCMAP의 손실은 제안된 원칙에 따라 지역 및 전역 구조를 모두 보존하며 중간-가까운 쌍을 사용해 전역 관계를 유지하는 데 도움을 준다.
• 초기화는 여러 DR 방법에서 전역 구조 보존에 의외의 영향을 미칠 수 있다.
• PaCMAP는 대표 데이터셋에서 지역 구조에 대해 UMAP에 비해 경쟁력 있는 성능을 보이고 전역 구조에 대해 TriMap에 비해 경쟁력을 보인다.