[논문 리뷰] Parametric t-Distributed Stochastic Exemplar-centered Embedding

Martin Renqiang Min, Hongyu Guo외 1명|arXiv (Cornell University)|2017. 10. 14.

Video Surveillance and Tracking Methods참고 문헌 17인용 수 3

한 줄 요약

이 논문은 t-SNE의 쌍별 데이터 비교를 사전에 계산된 고차원 예시들로 대체하는 스케일링 가능하고 강건한 파arametric 차원 축소 방법인 Parametric t-Distributed Stochastic Exemplar-centered Embedding (pt-SEE)을 제안한다. 예시들을 통해 局소 이웃 구조를 모델링하고 고차원 특징 상호작용을 가진 얕은 신경망을 사용함으로써, 선형 계산 복잡도를 달성하고 배치 크기와 퍼플렉서티 민감도를 제거하며, MNIST 및 Fashion-MNIST와 같은 벤치마크 데이터셋에서 시각화 품질, 강건성, 정량적 지표 면에서 pt-SNE를 초월한다.

ABSTRACT

Parametric embedding methods such as parametric t-SNE (pt-SNE) have been widely adopted for data visualization and out-of-sample data embedding without further computationally expensive optimization or approximation. However, the performance of pt-SNE is highly sensitive to the hyper-parameter batch size due to conflicting optimization goals, and often produces dramatically different embeddings with different choices of user-defined perplexities. To effectively solve these issues, we present parametric t-distributed stochastic exemplar-centered embedding methods. Our strategy learns embedding parameters by comparing given data only with precomputed exemplars, resulting in a cost function with linear computational and memory complexity, which is further reduced by noise contrastive samples. Moreover, we propose a shallow embedding network with high-order feature interactions for data visualization, which is much easier to tune but produces comparable performance in contrast to a deep neural network employed by pt-SNE. We empirically demonstrate, using several benchmark datasets, that our proposed methods significantly outperform pt-SNE in terms of robustness, visual effects, and quantitative evaluations.

연구 동기 및 목표

• pt-SNE의 불안정성과 높은 계산 비용 문제를 해결하기 위해, 배치 크기와 퍼플렉서티 요구 사항이 상충되는 문제를 해결하고자 한다.
• t-SNE의 고비용 쌍별 비교를 대체하기 위해 소수의 대표 예시들로의 비교로 전환하여, 쌍별 비교의 필요성을 제거하고자 한다.
• 재학습 없이도 외부 샘플 데이터에 대한 추론을 지원하는 스케일링 가능하고 강건한 파arametric 임베딩 방법을 개발하고자 한다.
• 특히 퍼플렉서티와 배치 크기와 같은 하이퍼파라미터 조정을 단순화하여, 기존 파arametric 방법에서 매우 민감한 문제를 해결하고자 한다.
• pt-SNE에서 사용하는 깊은 피드포워드 네트워크보다 더 단순하고 조정이 용이한 네트워크 아키텍처로 최신 기준의 시각화 성능을 달성하고자 한다.

제안 방법

• 이 방법은 데이터 포인트 간의 쌍별 비교 대신 고정된 고차원 예시 집합과의 유사도를 계산하는 새로운 목적 함수를 도입하여, 데이터 포인트 수에 비례해 복잡도를 제곱에서 선형으로 감소시킨다.
• 예시들은 k-means 클러스터링의 몇 차례 반복을 통해 선택되며, 데이터의 국소 밀도와 전반적인 클러스터링 구조를 모두 반영한다.
• 깊은 피드포워드 네트워크를 대체하기 위해 고차원 특징 상호작용을 가진 얕은 신경망을 사용하여 임베딩 매핑을 학습함으로써, 조정이 용이하고 성능은 유사한 결과를 얻는다.
• 노이즈 대비 샘플링을 적용하여 모든 데이터 포인트가 모든 예시들과 비교되는 것을 방지함으로써, 계산 및 메모리 비용을 추가로 절감한다.
• 퍼플렉서티 하이퍼파라미터는 이제 배치 크기와 분리되며, 전역적으로 예상되는 이웃 예시 수를 제어할 뿐이며, 미니배치 단위로는 제어하지 않는다.
• 학습된 파arametric 매핑 함수를 활용하여 비용이 많이 드는 최적화나 근사 계산 없이도 효율적인 외부 샘플 추론을 가능하게 한다.

실험 결과

연구 질문

• RQ1 t-SNE의 쌍별 비교로 인한 제곱형 계산 복잡도를 피하면서도 국소 이웃 구조를 유지할 수 있는 파arametric 임베딩 방법을 설계할 수 있는가?
• RQ2 쌍별 비교를 예시 기반 비교로 대체함으로써, 배치 크기와 퍼플렉서티 민감도가 감소한 더 강건하고 스케일러블한 임베딩를 얻을 수 있는가?
• RQ3 고차원 특징 상호작용을 가진 얕은 신경망이 pt-SNE에서 사용하는 깊은 네트워크와 비교해 유사하거나 더 나은 시각화 성능을 달성할 수 있는가?
• RQ4 기존 t-SNE 및 pt-SNE와 비교해 예시 기반 임베딩가 국소 및 전반적 데이터 구조를 얼마나 잘 유지하는가?
• RQ5 표준 벤치마크 데이터셋에서 클러스터링 정확도와 이웃 보존 성능 측면에서 제안된 방법의 정량적 및 정성적 성능은 어떠한가?

주요 결과

• MNIST 데이터셋에서 dt-see는 1NN 테스트 오차율 8.74% ± 0.37%를 기록하여 커널 t-SNE(14.2%)와 피셔 커널 t-SNE(13.7%)를 크게 앞서며 뛰어난 성능을 보였다.
• 이웃 크기 100일 때 dt-see의 품질 점수는 23.17%에 도달했으며, pt-SNE의 18.23%보다 뛰어난 이웃 보존 성능을 보였다.
• hot-see는 MNIST에서 1NN 테스트 오차율 9.11% ± 0.43%를 기록하여 pt-SNE의 12.55% 테스트 오차율을 뛰어넘었다.
• 이 방법은 하이퍼파라미터 설정에 대해 강건성을 보였으며, 퍼플렉서티와 배치 크기의 영향이 매우 미미했다. 이는 이 두 하이퍼파라미터가 분리되었기 때문이다.
• 예시 중심 접근법은 예시 수에 비례해 계산 및 메모리 복잡도를 제곱에서 선형으로 감소시켜 대규모 데이터셋에 대한 확장성을 확보했다.
• 고차원 특징 상호작용을 가진 얕은 네트워크가 pt-SNE에서 사용하는 깊은 네트워크와 유사한 성능을 달성했으며, 하이퍼파라미터 조정이 훨씬 용이했다.