[논문 리뷰] Perplexity-free Parametric t-SNE

Francesco Crecchi, Cyril de Bodt외 3명|arXiv (Cornell University)|2020. 10. 03.

Neural Networks and Applications참고 문헌 14인용 수 7

한 줄 요약

이 논문은 고차원 데이터에서 저차원 공간으로의 매핑을 학습하기 위해 딥 네ural 네트워크를 사용하는 퍼플렉서티 없는 파라미터화된 t-SNE 방법을 제안한다. 이로 인해 수동으로 퍼플렉서티를 조정할 필요가 없어지며, 다중 척도 이웃 정보를 통합함으로써 우수한 이웃 보존 성능을 달성한다. 이는 단일 퍼플렉서티 기반 파라미터화된 t-SNE의 최고 성능을 따라하거나 초월하며, 특히 샘플 외 확장 시에 뛰어난 성능을 보인다.

ABSTRACT

The t-distributed Stochastic Neighbor Embedding (t-SNE) algorithm is a ubiquitously employed dimensionality reduction (DR) method. Its non-parametric nature and impressive efficacy motivated its parametric extension. It is however bounded to a user-defined perplexity parameter, restricting its DR quality compared to recently developed multi-scale perplexity-free approaches. This paper hence proposes a multi-scale parametric t-SNE scheme, relieved from the perplexity tuning and with a deep neural network implementing the mapping. It produces reliable embeddings with out-of-sample extensions, competitive with the best perplexity adjustments in terms of neighborhood preservation on multiple data sets.

연구 동기 및 목표

• 파라미터화된 t-SNE에서 퍼플렉서티 초모수 조정에 의존하는 문제를 제거함으로써 성능에 제약을 주고 수동 조정이 필요한 문제를 해결한다.
• 다중 척도 t-SNE를 효율적인 샘플 외 확장과 대규모 데이터 처리를 가능하게 하는 파라미터화된 프레임워크로 확장한다.
• 다양한 척도의 데이터 유사도를 동시에 모델링하여 국소 및 전반적인 구조의 이웃 보존을 향상시킨다.
• 새로운 데이터 포인트에 잘 일반화되며, 확장된 환경에서도 임bedding 품질을 유지하는 딥 네ural 넷워크 기반 매핑을 개발한다.
• 제안된 방법이 다양한 데이터셋에서 퍼플렉서티 조정 없이도 표준 파라미터화된 t-SNE를 능가함을 입증한다.

제안 방법

• 단일 퍼플렉서티 가우시안 커널 대신 다양한 척도에서의 가우시안 커널 혼합을 사용하여 국소 및 전반적 구조를 포괄하는 다중 척도 파라미터화된 t-SNE 프레임워크를 제안한다.
• 고차원 입력에서 저차원 임베딩 공간으로의 미분 가능 매핑을 학습하기 위해 딥 네ural 넷워크를 사용하여 샘플 외 확장을 가능하게 한다.
• 저차원 공간에서의 유사도 측정에 대칭적이고 자유도가 1인 t-분포를 사용하여 뭉치기 문제를 완화한다.
• 고차원 및 저차원 유사도 분포 간의 쿨백-라이블러 발산을 최소화하기 위해 경사 하강법을 사용해 목적 함수를 최적화한다.
• 단일 퍼플렉서티 값에 의존하지 않도록 다중 척도에서의 유사도를 집계하는 새로운 손실 함수를 도입한다.
• 네트워크 아키텍처 초모수(층 수 및 각 층의 뉴런 수)에 대해 그리드 서치를 실시하고, 훈련 세트에서 학습한 후 병합된 훈련 및 테스트 세트에서 평가한다.

실험 결과

연구 질문

• RQ1 파라미터화된 t-SNE 방법이 수동으로 퍼플렉서티 조정이 필요 없이 강건한 차원 축소를 달성할 수 있는가?
• RQ2 다중 척도 이웃 모델링은 파라미터화된 t-SNE에서 국소 및 전반적 구조 보존에 어떻게 기여하는가?
• RQ3 기존의 파라미터화된 t-SNE에 비해 제안된 방법이 샘플 외 데이터 포인트로의 일반화 능력은 어느 정도인가?
• RQ4 퍼플렉서티 매개변수가 없는 것이 다양한 데이터 분포에서 더 안정적이고 신뢰할 수 있는 임베딩를 생성하는 데 기여하는가?
• RQ5 제안된 방법이 이웃 보존 측면에서 최고의 단일 퍼플렉서티 파라미터화된 t-SNE 변종을 따라하거나 초월할 수 있는가?

주요 결과

• 제안된 다중 척도 파라미터화된 t-SNE는 모든 테스트 데이터셋에서 훈련 세트에서의 이웃 보존 성능에서 모든 단일 퍼플렉서티 변종을 능가한다.
• 테스트 포인트를 투영한 확장 시나리오에서도 최고의 단일 퍼플렉서티 변종과 동등하거나 그 이상의 성능을 보이며, 강력한 일반화 능력을 입증한다.
• 모든 이웃 척도에서, 특히 더 가까운 이웃에 중점을 두고, R_NX 곡선의 AUC 값이 모든 단일 퍼플렉서티 변종을 초월한다.
• 부적절한 퍼플렉서티 값은 성능을 심각하게 떨어뜨리며, 최적의 조정이 어려운 경우를 방지하기 위해 다중 척도 접근이 필수적임을 확인한다.
• 새로운 데이터 포인트가 추가되어도 고성능의 임베딩를 유지함으로써 효과적인 샘플 외 확장 능력을 보여준다.
• 작은 이웃에 대한 훈련 및 확장 시나리오 간의 성능 격차는 국소 구조를 일반화 과정에서 더 잘 보존하기 위해 정규화 기법을 통해 향상 가능할 여지를 시사한다.