[논문 리뷰] A more globally accurate dimensionality reduction method using triplets

Ehsan Amid, Manfred K. Warmuth|arXiv (Cornell University)|2018. 03. 01.

Face and Expression Recognition참고 문헌 14인용 수 8

한 줄 요약

이 논문은 t-SNE와 LargeVis에서 사용하는 쌍별 유사도 대신 삼중조합 기반 제약 조건을 사용함으로써 전반적인 구조 보존을 향상시키는 새로운 차원 축소 방법인 TriMap을 제안한다. TriMap은 다양한 데이터셋에서 전반적인 데이터 조직 구조를 더 잘 포착하고, 이질치를 드러내며, 클러스터 간의 매끄러운 전환을 유지하는 데 있어 기존 방법들을 능가한다. 전반적 구조 테스트에서 유의미하게 낮은 AUC 점수를 기록함으로써 뛰어난 성능을 입증한다.

ABSTRACT

We first show that the commonly used dimensionality reduction (DR) methods such as t-SNE and LargeVis poorly capture the global structure of the data in the low dimensional embedding. We show this via a number of tests for the DR methods that can be easily applied by any practitioner to the dataset at hand. Surprisingly enough, t-SNE performs the best w.r.t. the commonly used measures that reward the local neighborhood accuracy such as precision-recall while having the worst performance in our tests for global structure. We then contrast the performance of these two DR method against our new method called TriMap. The main idea behind TriMap is to capture higher orders of structure with triplet information (instead of pairwise information used by t-SNE and LargeVis), and to minimize a robust loss function for satisfying the chosen triplets. We provide compelling experimental evidence on large natural datasets for the clear advantage of the TriMap DR results. As LargeVis, TriMap scales linearly with the number of data points.

연구 동기 및 목표

• t-SNE와 LargeVis와 같은 기존의 차원 축소 방법들이 국소적 이웃 보존 능력은 뛰어나지만 전반적 데이터 구조 보존 능력에 심각한 한계를 가진다는 문제를 해결하기 위해.
• 쌍별 유사도를 넘어서는 고차원 관계를 포착할 수 있는 확장 가능하고 전반적으로 정확한 DR 방법을 개발하기 위해.
• 선형적 확장성을 유지하면서도 시각화 정확도를 향상시키는 강력한 삼중조합 기반 최적화 프레임워크를 도입하기 위해.
• 실무자들이 DR 결과의 전반적 구조 보존 정도를 신뢰할 수 있고 검증 가능한 방법으로 평가할 수 있도록 제공하기 위해.
• 전반적 구조는 의미 있는 데이터 시각화에 있어 국소적 측정보다 더 유용하다는 것을 입증하기 위해.

제안 방법

• TriMap는 세 점 간 상대적 거리 비교를 통해 데이터 내 고차원 관계를 모델링하는 삼중조합 제약 조건을 사용하여, t-SNE와 LargeVis에서 사용하는 쌍별 유사도를 넘어서는 방향으로 접근한다.
• 삼중조합에 대한 강력한 손실 함수를 최소화하며, 안정성과 일반화 성능 향상을 위해 감쇠 함수로 제한을 둔다.
• 고차원 공간에서 점들의 상대적 순서를 반영하도록 저차원 임bedding을 유도하는 미분 가능 손실 함수를 사용한다.
• 대규모 데이터셋에서도 수렴 가능한 적응형 학습률을 사용하는 배치 경사하강법을 최적화에 활용한다.
• 필요에 따라 PCA를 사용해 초기 차원 축소를 수행하고, 효율적인 k-NN 계산을 위해 Balltree 알고리즘을 활용한다.
• 서브샘플링과 효율적인 이웃 탐색을 통해 선형 시간 복잡도를 유지함으로써 확장성 확보를 한다. 이는 LargeVis와 유사한 성능을 달성한다.

실험 결과

연구 질문

• RQ1 쌍별 방법에 비해 삼중조합 기반 제약 조건이 차원 축소에서 전반적 구조 보존에 뚜렷한 향상을 이끌 수 있는가?
• RQ2 t-SNE와 LargeVis는 국소적 이웃 정확도는 매우 우수함에도 불구하고 전반적 구조 작업에서 어떻게 성능을 내는가?
• RQ3 강력한 삼중조합 기반 손실 함수가 쌍별 유사도 기반 방법보다 더 의미 있는 클러스터 조직과 이질치를 드러내는 데 뛰어난가?
• RQ4 TriMap는 선형 확장성을 유지하면서도 뛰어난 전반적 시각화 정확도를 달성할 수 있는가?
• RQ5 자연스러운 데이터 변환 기반의 시각적 및 정량적 테스트가 DR 방법의 전반적 정확도를 신뢰성 있게 평가하는 데 유용한가?

주요 결과

• 전반적 구조 테스트에서 TriMap는 t-SNE(0.130)와 LargeVis(0.062)에 비해 유의미하게 낮은 AUC 점수를 기록하며, 전반적 구조 보존 능력이 뛰어나다는 것을 입증한다. 예를 들어, 전체 MNIST 데이터셋에서 AUC 점수는 0.036로 나타났다.
• Epileptic Seizure Recognition 데이터셋에서 TriMap는 다양한 생리적 상태 간 매끄러운 전환을 보여주며, t-SNE와 LargeVis는 이러한 전반적 패턴을 보존하지 못한다.
• Fashion MNIST에서 TriMap는 뚜렷한 클래스 클러스터와 매끄러운 전환을 유지하지만, t-SNE와 LargeVis는 허구적이고 분리된 하위클러스터를 생성한다.
• 380만 개 이상의 가사 데이터셋에서 TriMap는 다층적인 구조와 이질치를 드러내지만, t-SNE와 LargeVis는 단일 밀도 클러스터 아래에서 이러한 복잡성을 가림으로써 드러내지 못한다.
• DBLP 협업 네트워크에서 TriMap는 LargeVis가 이질치로부터 작은 인위적 클러스터를 형성하는 것과는 달리 더 깔끔하고 일관된 구조를 생성한다.
• TriMap는 국소적 측정치(예: 정밀도-재현율)가 t-SNE 유리할 수 있는 상황에서도 모든 데이터셋에서 상대적 클러스터 위치 보존과 먼 이질치 탐지에서 일관되게 t-SNE와 LargeVis를 능가한다.