[논문 리뷰] Stochastic Neighbor Embedding under f-divergences

Daniel Jiwoong Im, Nakul Verma외 1명|arXiv (Cornell University)|2018. 11. 03.

Video Surveillance and Tracking Methods참고 문헌 1인용 수 8

한 줄 요약

이 논문은 t-SNE의 목적함수를 Kullback-Leibler 발산에서 더 넓은 f-발산 클래스로 일반화함으로써, 다양체, 클러스터, 계층 등 다양한 데이터 구조를 더 잘 포착할 수 있도록 확장한다. 변분 하한 최적화 방법을 도입하여 표준 경사하강법보다 우수한 성능을 보이며, 다양한 발산과 데이터셋에서 고품질의 임bedding을 얻을 수 있다.

ABSTRACT

The t-distributed Stochastic Neighbor Embedding (t-SNE) is a powerful and popular method for visualizing high-dimensional data. It minimizes the Kullback-Leibler (KL) divergence between the original and embedded data distributions. In this work, we propose extending this method to other f-divergences. We analytically and empirically evaluate the types of latent structure-manifold, cluster, and hierarchical-that are well-captured using both the original KL-divergence as well as the proposed f-divergence generalization, and find that different divergences perform better for different types of structure. A common concern with $t$-SNE criterion is that it is optimized using gradient descent, and can become stuck in poor local minima. We propose optimizing the f-divergence based loss criteria by minimizing a variational bound. This typically performs better than optimizing the primal form, and our experiments show that it can improve upon the embedding results obtained from the original $t$-SNE criterion as well.

연구 동기 및 목표

• 다양한 f-발산이 t-SNE가 클러스터, 다양체, 계층과 같은 내재된 데이터 구조를 드러내는 데 미치는 영향을 조사하는 것.
• t-SNE의 KL-발산 목적함수의 한계를 해결하는 것 — recall을 우선시하고 비클러스터 구조에서는 성능이 열 劣하다.
• f-발산 기반 t-SNE의 수렴성과 해의 품질을 향상시키기 위해 변분 하한 최적화 방법을 제안하는 것.
• 여러 f-발산과 사용자 정의 발산 정의를 지원하는 유연하고 오픈소스 프레임워크(ft-SNE)를 제공하는 것.
• t-SNE에서 f-발산 최적화의 원형 및 이중(변분) 형태를 경험적으로 비교하는 것.

제안 방법

• f-발산의 볼록 쌍대를 사용하여 t-SNE의 KL 발산을 임의의 f-발산으로 일반화하고, 새로운 목적함수를 정의한다.
• 볼록 쌍대를 기반으로 f-발산의 변분 하한을 최적화하여 최적화의 안정성과 수렴성을 향상시키는 방법을 제안한다.
• 이중 형태를 모델링하기 위해 신경망 기반의 판별기(discriminator)를 사용하여 경사하강법을 통한 엔드 투 엔드 학습을 가능하게 한다.
• 이중 스트림 최적화 방식을 적용: 하이퍼파ram터 J:K를 사용해 임베딩 가중치와 판별기 가중치를 번갈아 갱신한다.
• KL, 카이제곱, 역-KL, JS, 헬링거의 다섯 가지 표준 f-발산을 지원하며, 프레임워크를 통해 사용자 정의 f-발산도 허용한다.
• 이웃 기반 정밀도-재현율 분석을 활용해 다양한 발산에서의 구조 유지 능력을 평가한다.

실험 결과

연구 질문

• RQ1 낮은 차원의 임베딩에서 다양체, 클러스터, 계층적 구조를 가장 효과적으로 유지하는 데 가장 적합한 f-발산은 무엇인가?
• RQ2 원형 형태에 비해 변분 이중 형태의 f-발산 최적화가 수렴성과 해의 품질 측면에서 어떻게 다른가?
• RQ3 변분 하한 최적화가 원형 목적함수에 대한 표준 경사하강법보다 더 나은 t-SNE 임베딩을 도출하는가?
• RQ4 퍼플렉서티, 네트워크 깊이, 업데이트 비율(J:K) 등의 하이퍼파ram터가 변분 f-t-SNE 방법의 성능에 미치는 영향은 무엇인가?
• RQ5 제안된 프레임워크는 표준 집합을 초월한 임의의 f-발산을 지원할 수 있는가?

주요 결과

• 변분 이중 형태(vft-SNE)는 원형 형태(ft-SNE)보다 항상 낮은 원형 f-발산 손실을 기록하며, 이는 더 나은 국소 최적해를 의미한다. 이는 KL 발산의 경우에도 마찬가지로 적용된다.
• 작은 퍼플렉서티에서는 vft-SNE가 ft-SNE보다 손실 감소 측면에서 뚜렷하게 뛰어나며, 퍼플렉서티가 증가함에 따라 이 격차는 점점 줄어든다.
• 변분 형태 최적화는 KL, 카이제곱, 젠슨-섀논을 포함한 모든 f-발산에서 더 빠른 수렴과 더 안정적인 학습을 이끌어낸다.
• 다양한 f-발산은 서로 다른 유형의 구조를 강조한다: KL과 카이제곱은 국소 구조(클러스터)를 선호하고, 역-KL은 전반적인 구조를 강조한다.
• JS와 헬링거 발산은 정밀도와 재현율을 균형 있게 유지하여 국소적 및 전반적 관계를 효과적으로 포착하며, 복잡한 다중 척도 데이터에 적합하다.
• 네트워크 아키텍처(깊이 및 너비)는 성능에 미미한 영향을 미치며, 이는 변분 최적화 방법의 강건성을 시사한다.