[논문 리뷰] Stochastic Neighbor Embedding separates well-separated clusters

Uri Shaham, Stefan Steinerberger|arXiv (Cornell University)|2017. 02. 09.

Face and Expression Recognition참고 문헌 10인용 수 15

한 줄 요약

이 논문은 높은 차원 공간에서 임의의 유클리드 공간 ℝᵈ로 매핑할 때 Stochastic Neighbor Embedding (SNE) 및 그 변종, 특히 t-SNE 변종이 잘 분리된 클러스터를 증명 가능하게 분리함을 증명한다. 핵심 결과는 √(5 log n)의 최소 분리 조건 하에서, 클러스터 수 n에 관계없이 일정한 품질 점수 Q(ψ*)의 O(log a)로 제한되는 최적의 SNE 임bedding이 클러스터 구조를 유지함을 보여준다.

ABSTRACT

Stochastic Neighbor Embedding and its variants are widely used dimensionality reduction techniques -- despite their popularity, no theoretical results are known. We prove that the optimal SNE embedding of well-separated clusters from high dimensions to any Euclidean space R^d manages to successfully separate the clusters in a quantitative way. The result also applies to a larger family of methods including a variant of t-SNE.

연구 동기 및 목표

• SNE 및 그 변종이 클러스터 시각화에서 경험적으로 성공한 데 대한 이론적 근거를 제공하는 것.
• 입력 데이터가 잘 분리된 국소 클러스터로 구성되어 있을 때 SNE가 클러스터 구조를 증명 가능하게 유지할 수 있는지 분석하는 것.
• 클러스터 간 분리도와 내부 일관성 측면에서 SNE 임베딩의 품질에 대한 정량적 경계를 설정하는 것.
• 일般화된 커널 함수를 사용하는 SNE 유사 방법의 더 넓은 가족으로 이론적 분석을 확장하는 것.
• 클러스터 수 n과 출력 차원 d에 따른 클러스터 분리 능력의 의존성 분석

제안 방법

• 임베딩에서 점이 포함된 공의 중심이 임의로 선택된 동일한 클러스터 소속의 두 번째 점을 통과하는 경우, 그 안에 포함된 점의 수의 로그 기대값을 품질 지표 Q(ψ)로 정의한다.
• 임베딩이 어떤 경우에도 완벽한 클러스터링이 불가능하므로, Q(ψ) ≥ log(a) − 1인 하한을 확립한다.
• 고정된 스케일 σᵢ = 2⁻¹ᐟ²를 가진 최적의 SNE 임베딩 ψ*가 SNE 손실 기능을 최소화함을 증명한다.
• 가우스 커널의 단조성과 1/q(ψᵢ, ψⱼ)의 비율에 대한 경계를 이용해 손실 기능과 품질 지표 Q(ψ)를 연결한다.
• 분리 조건 하에서 내부 클러스터 쌍별 확률 p(xᵢ, xⱼ) ≥ 1/(6a)이 성립하므로, SNE 손실의 하한을 유도한다.
• 손실의 하한과 최적 손실의 상한을 조합하여 Q(ψ*) ≤ 200 log(2a)를 유도하며, 이는 n과 D에 관계없이 성립한다.

실험 결과

연구 질문

• RQ1 SNE는 고차원 공간에서 잘 분리된 클러스터를 ℝᵈ로 매핑할 때 증명 가능하게 분리할 수 있는가?
• RQ2 최소한의 클러스터 간 거리 조건을 만족하는 이산적이고 국소적인 클러스터에 대해 SNE 임베딩의 이론적 보장 수준은 무엇인가?
• RQ3 클러스터 수 n이 SNE의 클러스터 분리 능력에 어떻게 영향을 미치는가?
• RQ4 일반적인 커널 함수를 사용하는 SNE 유사 방법의 더 넓은 클래스로 이론적 분석을 확장할 수 있는가?
• RQ5 임베딩 품질이 출력 차원 d와 클러스터 크기 a에 어떻게 의존하는가?

주요 결과

• 최적의 SNE 임베딩 ψ*는 Q(ψ*) ≤ 200 log(2a)를 만족하며, 이는 클러스터 수 n에 관계없이 클러스터 구조가 고도로 유지됨을 증명한다.
• Q(ψ*) ≤ 200 log(2a)의 경계는 입력 차원 D와 출력 차원 d에 관계없이 성립하며, 조건 ‖x−y‖ ≥ √(5 log n) (x∈Bᵢ, y∈Bⱼ, i≠j) 하에서 성립한다.
• 큰 n≫a≫1일 경우 경계는 Q(ψ*) ≤ (2e² + ε) log(2a) ≤ 15 log(2a)로 향상되며, 이는 渐近적으로 타당함을 보여준다.
• 출력 차원 d가 증가함에 따라 필요로 하는 분리 조건은 √((1 + 2/d) log n)으로 약화되며, Q(ψ*) ≲ₐ log a로 표현되며 이는 d에 따라 결정되는 상수를 포함한다.
• 양수이면서 단조 감소하는 커널 함수 f를 사용하는 일반적인 SNE 변종의 가족으로 결과를 확장할 수 있으며, 손실은 O(na log a)로 제한된다.
• 모든 임베딩에 대해 Q(ψ) ≥ log(a) − 1인 하한이 성립하며, 이는 클러스터 품질의 기준선을 제공한다.