[논문 리뷰] Using Dimensionality Reduction to Optimize t-SNE

Rikhav Shah, Sandeep Silwal|arXiv (Cornell University)|2019. 12. 02.

Face and Expression Recognition참고 문헌 11인용 수 5

한 줄 요약

이 논문은 입력 차원을 줄이기 위해 무작위 투영을 적용하여 t-SNE의 속도를 가속화하는 방법을 제안한다. 이는 국소 클러스터링 구조를 유지하면서 런타임을 크게 줄인다. 주요 결과로는 원래 차원의 5%로 투영해도 t-SNE 정확도가 유지되며, 클러스터 충실도를 손상시키지 않고 수개의 주기수 속도 향상이 가능하다는 점을 보여준다.

ABSTRACT

t-SNE is a popular tool for embedding multi-dimensional datasets into two or three dimensions. However, it has a large computational cost, especially when the input data has many dimensions. Many use t-SNE to embed the output of a neural network, which is generally of much lower dimension than the original data. This limits the use of t-SNE in unsupervised scenarios. We propose using extit{random} projections to embed high dimensional datasets into relatively few dimensions, and then using t-SNE to obtain a two dimensional embedding. We show that random projections preserve the desirable clustering achieved by t-SNE, while dramatically reducing the runtime of finding the embedding.

연구 동기 및 목표

• 입력 차원에 따라 성능이 급격히 떨어지는 t-SNE의 계산 비용을 줄이기 위해.
• 무작위 투영을 통한 차원 감소가 t-SNE의 국소 클러스터링 구조 유지 능력을 유지하는지 조사하기 위해.
• 무작위 투영을 전처리로 사용함으로써 t-SNE의 추론 속도를 높일 수 있으며, 임베딩 품질에 큰 손실 없이 구현 가능함을 보여주기 위해.
• 정확도와 효율성 측면에서 t-SNE 전처리 방법으로서의 무작위 투영과 PCA를 비교하기 위해.
• 비지도 학습 파ip라인에서 t-SNE에 적용 가능한 실용적이고 구현에 종속되지 않는 최적화 전략을 제공하기 위해.

제안 방법

• t-SNE를 실행하기 전에 고차원 입력 데이터를 낮은 차원의 부분공간으로 무작위 투영하여 차원을 감소시킨다.
• Johnson–Lindenstrauss 렘마를 이론적 근거로 삼아, 감소된 공간에서도 쌍별 거리가 근사적으로 유지됨을 보장한다.
• 임베딩 품질을 측정하기 위해 정확도 점수를 사용한다: 동일한 레이블을 가진 가장 가까운 이웃을 가진 점의 비율.
• 여러 데이터셋(MNIST, CIFAR-10, Small NORB, Fashion-MNIST)에서 차원 감소 전후의 t-SNE 성능을 비교한다.
• 빠른(openTSNE)과 느린(scikit-learn) 두 가지 t-SNE 구현체를 사용하여 다양한 백엔드에서 결과의 타당성을 검증한다.
• 정확도와 런타임에 대한 영향을 비교하기 위해 무작위 투영과 PCA를 전처리 방법으로 평가한다.

실험 결과

연구 질문

• RQ1 차원 감소 이전에 적용된 무작위 투영이 t-SNE가 포착하는 국소 클러스터링 구조를 유지할 수 있는가?
• RQ2 t-SNE 성능이 유의미하게 떨어지기 전까지 입력 차원을 얼마나 줄일 수 있는가?
• RQ3 무작위 투영을 전처리로 사용하면 임베딩 품질에 손실 없이 t-SNE 런타임에 측정 가능한 속도 향상이 이루어지는가?
• RQ4 정확도와 필요로 하는 투영 차원 측면에서, t-SNE 전처리로써의 PCA와 무작위 투영의 성능를 비교하면 어떻게 되는가?
• RQ5 제안된 방법은 다양한 데이터셋과 t-SNE 구현체 간에 강건한가?

주요 결과

• 데이터를 원래 차원의 5%로 투영해도 t-SNE 정확도가 거의 동일하게 유지되며, 정확도 점수 비율이 1에 가까워진다.
• 차원 감소를 적용할 경우 t-SNE의 런타임이 최대 90%까지 감소하며, 클러스터 충실도 손실는 최소한이다.
• 낮은 차원에서 정확도를 유지하는 데서는 PCA가 무작위 투영보다 우수하며, 모든 테스트 데이터셋에서 d=25에서 near-optimal 성능을 달성한다.
• 차원 감소의 '최적 영역'은 원래 차원의 5%에서 10% 사이에 위치하며, 이 범위에서는 정확도가 유지되고 속도 향상이 최대화된다.
• 제안된 방법은 구현에 종속되지 않으며, openTSNE와 scikit-learn t-SNE 둘 다에서 일관된 성능 향상을 보였다.
• 시각화 결과는 MNIST에서 전체 차원과 감소된 차원의 t-SNE 출력 간에 클러스터 구조가 시각적으로 구분되지 않는다는 것을 확인한다.