[논문 리뷰] Stochastic Neighbor Embedding with Gaussian and Student-t Distributions: Tutorial and Survey

Benyamin Ghojogh, Ali Ghodsi외 2명|arXiv (Cornell University)|2020. 09. 21.

Face and Expression Recognition인용 수 5

한 줄 요약

이 튜토리얼 및 서베이 논문은 차원 축소와 시각화를 위한 확률적 프레임워크를 설명하는 Stochastic Neighbor Embedding (SNE), 대칭 SNE, t-SNE (Cauchy-SNE), 그리고 일반 자유도를 가진 t-SNE에 대한 종합적인 개요를 제공한다. SNE는 입력 공간과 임bedding 공간 양쪽 모두에서 가우시안 분포를 사용하는 반면, t-SNE는 뭉치 문제를 완화하기 위해 더 무거운 尾를 가진 분포를 위해 스튜던트-t 분포를 활용하며, 이는 외삽 확장 및 가속 기법(예: 랜드마크 기반 방법 및 무작위 보행)을 포함한다.

ABSTRACT

Stochastic Neighbor Embedding (SNE) is a manifold learning and dimensionality reduction method with a probabilistic approach. In SNE, every point is consider to be the neighbor of all other points with some probability and this probability is tried to be preserved in the embedding space. SNE considers Gaussian distribution for the probability in both the input and embedding spaces. However, t-SNE uses the Student-t and Gaussian distributions in these spaces, respectively. In this tutorial and survey paper, we explain SNE, symmetric SNE, t-SNE (or Cauchy-SNE), and t-SNE with general degrees of freedom. We also cover the out-of-sample extension and acceleration for these methods.

연구 동기 및 목표

• Stochastic Neighbor Embedding (SNE) 및 그 변종(예: t-SNE, 대칭 SNE)에 대한 종합적인 튜토리얼 및 서베이를 제공하는 것.
• SNE의 확률적 프레임워크를 설명하여 고차원 공간에서의 이웃 관계 확률이 저차원 임베딩에 그대로 유지됨을 설명하는 것.
• SNE에서 발생하는 뭉치 문제를 다루고, t-SNE가 스튜던트-t 분포를 사용함으로써 클러스터 간 분리도 향상되어 더 나은 시각화를 가능하게 하는 방식을 설명하는 것.
• 대규모 데이터에 적합한 실용적 확장 기법(예: 외삽 임베딩 및 가속 기법)을 다루는 것.
• 최근의 발전 및 관련 방법(예: 파라미터화된 t-SNE, LargeVis, UMAP)을 요약하여 기존 t-SNE 프레임워크와의 비교 및 맥락 제공

제안 방법

• 입력 공간에서 이웃 관계 확률을 모델링하기 위해 가우시안 분포를 사용하며, 국소적 구조를 유지하기 위해 이중 검색을 통해 점별 분산을 결정한다.
• 비정규화된 가우시안 확률을 적절한 조건부 확률로 변환하기 위해 소프트맥스 정규화 기법을 활용하여 합이 1이 되는 조건을 보장한다.
• 임베딩 공간에서 가우시안 분포를 스튜던트-t 분포(카이-분포)로 대체하여 더 두꺼운 尾를 가지게 하여 뭉치 문제를 완화하는 방식으로 t-SNE를 도입한다.
• 확률 행렬을 대칭화함으로써 최적화의 안정성과 시각화 품질을 향상시키는 대칭 SNE를 적용한다.
• 랜드마크 기반 가속 기법: 데이터의 일부(랜드마크)에서 SNE/t-SNE를 훈련한 후, 새로운 점들에 대해 커널 기반 또는 최적화 기반 확장 기법을 사용해 외삽 임베딩을 수행한다.
• k-NN 그래프에서 전이 확률을 추정하기 위해 무작위 보행 근사를 적용하여 전체 쌍별 거리 계산을 대체함으로써 계산 복잡도를 크게 감소시키며, 이웃 관계 구조를 유지한다.

실험 결과

연구 질문

• RQ1 SNE는 입력 공간과 임베딩 공간 양쪽에서 어떻게 확률적 모델링을 통해 국소적 이웃 관계를 유지하는가?
• RQ2 기본 SNE의 한계, 특히 뭉치 문제에 대해 t-SNE는 어떻게 더 두꺼운 尾를 가진 분포를 통해 이를 해결하는가?
• RQ3 SNE 또는 t-SNE를 일부 데이터에 대해 훈련한 후, 외삽 데이터 포인트를 효율적으로 임베딩할 수 있는 방법은 무엇인가?
• RQ4 랜드마크 기반 방법 또는 무작위 보행과 같은 가속 기법은 대규모 데이터셋에 대한 확장성 향상에 어떻게 기여하는가?
• RQ5 최근의 변종인 파라미터화된 t-SNE, LargeVis, UMAP는 원래 t-SNE 프레임워크와 어떻게 관련되며, 이를 어떻게 향상시키는가?

주요 결과

• t-SNE는 스튜던트-t 분포의 더 두꺼운 尾 덕분에 뭉치 문제를 완화함으로써 고차원 데이터의 시각화에서 표준 SNE보다 뛰어난 성능을 보인다.
• 대칭 SNE에서 대칭 확률 행렬을 사용함으로써 비대칭 SNE보다 더 안정적이고 해석 가능한 임베딩을 얻을 수 있다.
• 랜드마크 기반 방법은 일부 데이터에서 훈련한 후 커널 기반 또는 최적화 기반 매핑을 통해 새로운 점들에 대해 효율적인 외삽 임베딩을 가능하게 한다.
• 무작위 보행 근사는 전체 쌍별 거리 계산을 그래프 기반 샘플링으로 대체함으로써 t-SNE의 계산 복잡도를 감소시켜 대규모 데이터셋에서의 빠른 처리를 가능하게 한다.
• 최근의 개선 사항인 밀도 기반 t-SNE는 반경 기반 분산 조정을 통해 국소 밀도 정보를 통합함으로써 고밀도 영역에서의 클러스터 간 분리도를 향상시킨다.
• t-SNE의 파라미터화 및 커널 기반 확장은 엔드 투 엔드 학습과 확장 가능한 추론을 가능하게 하여, 대규모 및 지도 학습 시나리오에 적용 가능하게 한다.