[논문 리뷰] Automatic Selection of t-SNE Perplexity

Yanshuai Cao, Luyu Wang|arXiv (Cornell University)|2017. 08. 10.

Evolutionary Algorithms and Applications참고 문헌 1인용 수 37

한 줄 요약

이 논문은 정보 이론적 원리에서 유도된 새로운 목적 함수를 사용하여 t-SNE의 퍼플렉서티 초모수를 자동으로 선택하는 방법을 제안한다: $2\text{KL}(P||Q) + \log(n)\frac{\text{Perp}}{n}$, 이는 인간 전문가의 선호도 조사에 의해 검증되었다. 이 방법은 전문가의 경험에 의존하는 수동 조정을 제거하고, 가우시안 프로세스를 사용하여 전문가의 선호도를 모델링함으로써 기본 설정보다 뛰어난 성능을 달성한다.

ABSTRACT

t-Distributed Stochastic Neighbor Embedding (t-SNE) is one of the most widely used dimensionality reduction methods for data visualization, but it has a perplexity hyperparameter that requires manual selection. In practice, proper tuning of t-SNE perplexity requires users to understand the inner working of the method as well as to have hands-on experience. We propose a model selection objective for t-SNE perplexity that requires negligible extra computation beyond that of the t-SNE itself. We empirically validate that the perplexity settings found by our approach are consistent with preferences elicited from human experts across a number of datasets. The similarities of our approach to Bayesian information criteria (BIC) and minimum description length (MDL) are also analyzed.

연구 동기 및 목표

• t-SNE 퍼플렉서티의 수동적이고 경험에 의존하는 조정을 제거하고 자동 선택을 실현하기 위해.
• 최적의 퍼플렉서티 설정에 대한 전문가 판단을 반영하는 모델 선택 목적 함수를 개발하기 위해.
• 제안된 목적 함수를 인간 전문가로부터의 쌍대 선호도 조사에 의해 검증하기 위해.
• 다양한 데이터셋, 특히 숫자, coil20, 얼굴 데이터 등에서의 일반화 성능을 입증하기 위해.

제안 방법

• 정보 이론적 원리에서 유도된 새로운 목적 함수를 제안: $S(\text{Perp}) = 2\text{KL}(P||Q) + \log(n)\frac{\text{Perp}}{n}$.
• 8명의 인간 전문가로부터 양적 순위 선호도 조사를 통해 우수한 퍼플렉서티 설정에 대한 레이블된 판단을 수집한다.
• 이진 순위 가능도를 사용하여 가우시안 프로세스를 적용하여 전문가의 불확실성을 모델링하고 최적의 퍼플렉서티를 추론한다.
• 고차원 및 저차원 분포 간의 KL 발산을 목적 함수의 핵심 구성 요소로 사용한다.
• 재구성 정밀도와 복잡도 사이의 균형을 맞추기 위해 목적 함수를 校정함으로써, BIC와 유사하지만 복잡도 조정 방향이 반대된 방식을 취한다.

실험 결과

연구 질문

• RQ1 데이터 기반 목적 함수가 인간의 간섭 없이 신뢰성 있게 t-SNE 퍼플렉서티를 선택할 수 있는가?
• RQ2 제안된 목적 함수가 최적의 퍼플렉서티에 대한 전문가가 검증한 선호도와 얼마나 잘 일치하는가?
• RQ3 이 방법은 다양한 데이터 구조를 가진 다양한 데이터셋에 일반화되는가?
• RQ4 왜 목적 함수 $2\text{KL}(P||Q) + \log(n)\frac{\text{Perp}}{n}$ 가 표준 KL 최소화보다 더 우수한 성능을 내는가?

주요 결과

• 제안된 목적 함수 $S(\text{Perp}) = 2\text{KL}(P||Q) + \log(n)\frac{\text{Perp}}{n}$ 는 전문가의 선호도를 더 잘 반영하며 기본 설정보다 뛰어난 성능을 보였다.
• 인간 전문가의 선호도 데이터는 다양한 데이터셋 간에 일관된 패턴을 보였으며, 이는 방법의 일반화 가능성에 대한 검증을 제공했다.
• 이 방법은 퍼플렉서티 선택 시 시각적 점검과 전문가 경험에 대한 의존도를 성공적으로 감소시켰다.
• 목적 함수는 모델 적합도와 복잡도 사이의 균형을 효과적으로 조절하는 것으로 나타났으며, BIC와 유사한 구조를 띠지만 복잡도 조정 방향이 반대되는 특징을 지녔다.