[논문 리뷰] An Analysis of the t-SNE Algorithm for Data Visualization

Sanjeev Arora, Wei Hu외 1명|arXiv (Cornell University)|2018. 03. 05.

Topological and Geometric Data Analysis참고 문헌 28인용 수 82

한 줄 요약

이 논문은 2D 임베딩을 통한 데이터 시각화를 위한 형식적 프레임워크를 제공하고, 잘 분리된 구형(cluster) 가정하에서 t-SNE에 대한 증명 가능한 보장을 제시하며, 가우시안 혼합 및 로그-콘케이브(distributions)에의 응용을 포함한다.

ABSTRACT

A first line of attack in exploratory data analysis is data visualization, i.e., generating a 2-dimensional representation of data that makes clusters of similar points visually identifiable. Standard Johnson-Lindenstrauss dimensionality reduction does not produce data visualizations. The t-SNE heuristic of van der Maaten and Hinton, which is based on non-convex optimization, has become the de facto standard for visualization in a wide range of applications. This work gives a formal framework for the problem of data visualization - finding a 2-dimensional embedding of clusterable data that correctly separates individual clusters to make them visually identifiable. We then give a rigorous analysis of the performance of t-SNE under a natural, deterministic condition on the "ground-truth" clusters (similar to conditions assumed in earlier analyses of clustering) in the underlying data. These are the first provable guarantees on t-SNE for constructing good data visualizations. We show that our deterministic condition is satisfied by considerably general probabilistic generative models for clusterable data such as mixtures of well-separated log-concave distributions. Finally, we give theoretical evidence that t-SNE provably succeeds in partially recovering cluster structure even when the above deterministic condition is not met.

연구 동기 및 목표

• Ground-truth 클러스터가 시각적으로 구분 가능하도록 2D 임베딩을 찾는 것을 시각화 작업으로 형식화한다.
• t-SNE가 클러스터링 가능한 데이터의 전체 시각화를 증명적으로 만들어내는 결정론적 조건을 식별한다.
• 이 조건들이 가우시안 혼합 및 로그-콘케이브 분포에 의해 만족되는지 보인다.
• 조건이 완전히 충족되지 않더라도 t-SNE가 클러스터 구조를 부분적으로라도 회복할 수 있음을 입증하는 증거를 제공한다.

제안 방법

• 클러스터 가능 데이터의 2D 임베딩에 대한 시각적 전체/부분 시각화를 정의하는 정확한 개념을 도입한다.
• γ-구형(γ-spherical) 및 γ-잘 분리된(γ-well-separated) 데이터 조건을 도입하고 이를 클러스터 시각화 보장과 연관지어 분석한다.
• 초과장(early exaggeration)을 사용하는 t-SNE를 분석하고 쌍별 유사도 행렬에 대한 파워 방법(power method)과 유사한 업데이트 역학을 도출한다.
• 주어진 조건 아래에서 군집 중심은 분리된 상태를 유지하고 군집 내 점들은 축소되며, 이를 통해 전체 시각화를 얻을 수 있음을 보인다.
• 등방성 가우시안 가믹스와 로그-콘케이브 분포에 이론을 적용하고 시각화를 보장하는 분리 스케일(예: 가우시안의 경우 d1/4 근사) 등을 도출한다.

실험 결과

연구 질문

• RQ1 데이터에 대한 결정론적 조건이 무엇일 때 초기 과장(acceleration)을 갖춘 t-SNE가 클러스터의 전체 2D 시각화를 생성하는가?
• RQ2 이러한 조건들이 가우시안 혼합이나 로그-콘케이브 분포와 같은 일반적인 생성 모델에서 성립하는가?
• RQ3 이상적 조건이 충족되지 않을 때라도 적어도 일부 클러스터를 시각화할 수 있는가?
• RQ4 고차원에서 선형 차원 축소 방법과 비교하여 시각화 보장이 얼마나 다르게 나타나는가?

주요 결과

• γ-구형 및 γ-잘 분리된 클러스터 가능 데이터에서 클러스터 크기가 최소 0.1(n/k)이고 k ≪ n1/5일 때, 초기 과장을 사용하는 t-SNE는 높은 확률로 전체 시각화를 산출한다.
• 해당 분석은 군집 내 점들이 축소되고 군집 간 중심은 분리된 채 남아 있어 군집의 시각적 구분성을 보장함을 보여준다.
• 독립적으로 동일하게 분포된 n개의 샘플이 평균 간격이 ~d1/4로 구분되는 k개의 등방성 가우시안의 혼합으로부터 뽑힌 경우 또한 전체 시각화를 제공함을 보인 코릴러리와, d5/12 근방으로 분리된 등방성 로그-콘케이브 분포의 혼합에도 적용된다.
• t-SNE의 동작은 쌍별 친화도 행렬에 대한 파워 방법 유사 업데이트로 근사되며, 이로써 이론적 보장을 뒷받침한다.
• 결정적 분리 조건이 실패하더라도 t-SNE는 부분 시각화를 제공할 수 있으며, 특정 동심원적 가우시안 혼합에서 최소 하나의 클러스터를 회복한다.
• 비등방성 로그-콘케이브 혼합에서도 결과가 확장되며 등방성 설정을 넘어서 더 넓은 적용 가능성을 시사한다.