[논문 리뷰] Efficient Algorithms for t-distributed Stochastic Neighborhood Embedding

George C. Linderman, Manas Rachh외 3명|arXiv (Cornell University)|2017. 12. 25.

Stochastic Gradient Optimization Techniques참고 문헌 19인용 수 186

한 줄 요약

이 논문은 대규모 고차원 데이터의 빠르고 확장 가능한 임베딩을 위한 FFT 가속 보간 기반 t-SNE 접근법인 FIt-SNE를 소개하고, 메모리 밖 PCA 방법(oocPCA)와 군집 분리 향상을 위한 후기 과장을 제안한다.

ABSTRACT

t-distributed Stochastic Neighborhood Embedding (t-SNE) is a method for dimensionality reduction and visualization that has become widely popular in recent years. Efficient implementations of t-SNE are available, but they scale poorly to datasets with hundreds of thousands to millions of high dimensional data-points. We present Fast Fourier Transform-accelerated Interpolation-based t-SNE (FIt-SNE), which dramatically accelerates the computation of t-SNE. The most time-consuming step of t-SNE is a convolution that we accelerate by interpolating onto an equispaced grid and subsequently using the fast Fourier transform to perform the convolution. We also optimize the computation of input similarities in high dimensions using multi-threaded approximate nearest neighbors. We further present a modification to t-SNE called "late exaggeration," which allows for easier identification of clusters in t-SNE embeddings. Finally, for datasets that cannot be loaded into the memory, we present out-of-core randomized principal component analysis (oocPCA), so that the top principal components of a dataset can be computed without ever fully loading the matrix, hence allowing for t-SNE of large datasets to be computed on resource-limited machines.

연구 동기 및 목표

• 매우 큰 데이터셋(수십만에서 수백만 개의 포인트)에 대한 t-SNE의 계산 속도 향상.
• t-SNE에서 입력 유사성과 반발 힘 계산을 위한 효율적인 방법 개발.
• 후기 과장 및 관련 전략을 통해 t-SNE 임베딩의 군집 분리 강화.
• 메모리에 적재되지 않는 데이터에 대해 t-SNE를 가능하게 하는 메모리 밖(out-of-core) PCA 제공.
• 실용적인 시각화 도구(1D/2D t-SNE 히트맵)와 확장 가능한 소프트웨어 구현 제공.

제안 방법

• 등간격 격자에 보간하고 FFT를 사용해 결과 합성곱을 수행하는 방식으로 반발 힘의 FFT 가속 보간 기반 계산.
• 저차 다항 보간(p=3)과 분할 다항 커널 보간을 사용해 N-바디 상호 작용을 근사.
• 병진 불변 커널(K1 및 K2)과 Toeplitz 구조를 이용해 FFT 가속을 가능하게 함.
• 입력 유사성 계산 및 끌어들이는 힘의 계산을 줄이기 위해 근사 최근접 이웃 전략(ANNOY) 사용.
• 후기 반복에서 후기 과장(alpha>1) 도입으로 군집 분리 향상.
• 메모리 밖 무작위 PCA(oocPCA)를 통해 전체 데이터 행렬을 메모리에 로드하지 않고 상위 성분 계산.

실험 결과

연구 질문

• RQ1 수백만 개의 포인트에 이르는 데이터셋에서도 임베딩 품질을 유지하며 t-SNE를 확장할 수 있는가?
• RQ2 Barnes-Hut를 넘는 정확도 손실 없이 t-SNE의 반발 힘 계산을 어떻게 가속화할 수 있는가?
• RQ3 필수적인 지역 기하 구조를 잃지 않으면서 근사 최근접 이웃을 이용해 입력 유사성 계산을 더 빠르게 만들 수 있는가?
• RQ4 후기 과장 사용이 t-SNE 임베딩의 군집 분리도와 해석 가능성을 향상시키는가?
• RQ5 메모리에 맞추지 않는 데이터셋에서 t-SNE를 가능하게 하는 메모리 효율적 파이프라인(out-of-core PCA)이 있는가?

주요 결과

• FIt-SNE는 대규모 데이터셋(예: 100만 포인트)에서 Barnes-Hut t-SNE에 비해 1D에서 최대 15배, 2D에서 30배의 속도 향상을 달성한다.
• FFT 가속 보간은 반발 힘 계산을 제곱적에서 거의 선형에 가까운 시간으로 감소시키며 복잡도는 O(N·p + (N_int·p) log(N_int·p))이다.
• 입력 유사성에 대해 근사 최근접 이웃(ANNOY)을 사용하면 끌어당김 계산이 빨라지면서도 국부 구조를 보존한다.
• 후기 과장(alpha > 1)은 t-SNE 임베딩의 군집 분리성과 해석 가능성을 향상시킨다.
• t-SNE 히트맵은 1D 임베딩을 통해 유전자 발현 정보를 간결한 히트맵 형태의 시각화로 전달한다.
• 메모리 밖 PCA(oocPCA) 구현은 전체 행렬을 로드하지 않고 상위 성분을 계산하며, 메모리 제약이 큰 매우 큰 행렬에서 시연된다.