[논문 리뷰] Visualizing Data using GTSNE

Songting Shi|arXiv (Cornell University)|2021. 08. 03.

Data Visualization and Analytics참고 문헌 5인용 수 25

한 줄 요약

GTSNE은 매크로-구조 보존을 위한 매크로 손실과 k-means 중심점을 추가한 t-SNE의 글로벌 변형으로, 2D에서 고차원 데이터의 시각화를 향상시킵니다.

ABSTRACT

We present a new method GTSNE to visualize high-dimensional data points in the two dimensional map. The technique is a variation of t-SNE that produces better visualizations by capturing both the local neighborhood structure and the macro structure in the data. This is particularly important for high-dimensional data that lie on continuous low-dimensional manifolds. We illustrate the performance of GTSNE on a wide variety of datasets and compare it the state of art methods, including t-SNE and UMAP. The visualizations produced by GTSNE are better than those produced by the other techniques on almost all of the datasets on the macro structure preservation.

연구 동기 및 목표

• 고차원 데이터의 시각화를 개선하기 위해 로컬 구조와 매크로 구조를 모두 보존한다.
• 매크로 구조를 중심점 기반 확률로 통합하는 글로벌 t-SNE 프레임워크(GTSNE)를 도입한다.
• GTSNE 손실에 대한 적응 학습률로 추적 가능한 그래디언트 기반 최적화를 개발한다.
• 합성 및 실제 데이터셋에서 GTSNE를 시연하고 t-SNE 및 UMAP과 비교한다.

제안 방법

• 로컬 및 매크로 구조를 포착하기 위해 L(Y)=L_micro + α L_macro + β L_k-means의 세 부분 손실 정의.
• PCA, PCA 임베딩에서의 k-means 중심점, 그리고 중심점 기반 확률 R 및 P_macro를 사용하여 고차원 매크로 구조를 표현한다.
• 그래디언트 기반 최적화와 적응 학습률을 갖는 저차원 임베딩 Y를 사용하여 L(Y)을 최소화한다.
• 마이크로, 매크로, k-means 항을 포함하는 t-SNE에 비유된 GTSNE 그래디언트를 도출한다(식 10-11, 15-20).
• 초기화, 전처리(PCA, K-means, 이웃 확률) 및 반복 업데이트를 자세히 설명하는 알고리즘 개요(Algorithm 1)를 제공한다.

실험 결과

연구 질문

• RQ1 매크로 구조를 t-SNE 시각화에 어떻게 포함시켜 글로벌 관계를 더 잘 보존할 수 있는가?
• RQ2 중심점 기반 매크로 손실의 포함이 표준 t-SNE 및 UMAP과 비교하여 매크로 구조의 보존을 개선하는가?
• RQ3 매크로 및 k-means 손실 항이 최적화 역학 및 최종 임베딩에 어떤 영향을 미치는가?
• RQ4 GTSNE는 합성 선 데이터, 토이 데이터셋, MNIST 및 단일 세포 RNA 시퀀스 데이터에서 구조 보존 측면에서 어떤 성능을 보이는가?

주요 결과

• GTSNE는 매크로 구조 관련 시각화에서 많은 데이터셋에서 t-SNE보다 매크로 구조를 더 잘 보존한다.
• 시뮬레이션된 연속 선 데이터에서 GTSNE는 선의 연속성을 유지하지만 t-SNE는 그렇지 않으며, UMAP도 이를 보존하나 왜곡이 다르다.
• GTSNE는 Swiss Roll 및 Pancreas 같은 데이터세트에서 연속 맵을 생성하며, 원형 또는 구면 구조의 보존이 t-SNE보다 더 낫다; 결과는 경우에 따라 UMAP보다 경쟁력 있거나 우수하다.
• MNIST의 경우 GTSNE는 t-SNE 및 UMAP에 비해 비교 가능한 표현을 제공하여 대규모 이미지 데이터에서 경쟁력 있는 성능을 시사한다.
• 논문은 GTSNE가 대규모 데이터셋(MNIST 규모)에서 느릴 수 있으며 매크로-구조 정의를 향후 개선 가능성으로 논의한다.