[논문 리뷰] Supervised Dimensionality Reduction and Visualization using Centroid-encoder

Tomojit Ghosh, M. Kirby|arXiv (Cornell University)|2020. 02. 27.

Data Visualization and Analytics인용 수 14

한 줄 요약

이 논문은 자동에코더 기반 비선형 차원 감소 과정에서 클래스 레이블을 사용하여 데이터 포인트를 해당 클래스의 중심점(centroid)으로 매핑하는 지도 학습 기반 차원 감소 방법인 Centroid-Encoder(CE)를 제안한다. CE는 낮은 차원 공간에서 상당히 더 많은 분산(최대 89%)을 포착하면서도 클래스 구조를 유지하고, 재학습 없이도 새로운 데이터에 대한 효율적인 추론을 가능하게 하여 최신 기술보다 뛰어난 성능을 발휘한다.

ABSTRACT

Visualizing high-dimensional data is an essential task in Data Science and Machine Learning. The Centroid-Encoder (CE) method is similar to the autoencoder but incorporates label information to keep objects of a class close together in the reduced visualization space. CE exploits nonlinearity and labels to encode high variance in low dimensions while capturing the global structure of the data. We present a detailed analysis of the method using a wide variety of data sets and compare it with other supervised dimension reduction techniques, including NCA, nonlinear NCA, t-distributed NCA, t-distributed MCML, supervised UMAP, supervised PCA, Colored Maximum Variance Unfolding, supervised Isomap, Parametric Embedding, supervised Neighbor Retrieval Visualizer, and Multiple Relational Embedding. We empirically show that centroid-encoder outperforms most of these techniques. We also show that when the data variance is spread across multiple modalities, centroid-encoder extracts a significant amount of information from the data in low dimensional space. This key feature establishes its value to use it as a tool for data visualization.

연구 동기 및 목표

• 시각화 과정에서 클래스 분리도를 유지하지 못하는 비지도 학습 기법(예: PCA 및 자동에코더)의 한계를 해결하기 위해.
• 잠재 공간에서의 클래스 내 분산을 최소화하기 위해 클래스 레이블을 활용하는 지도 학습 기반 차원 감소 기법을 개발하기 위해.
• 낮은 차원의 임베딩에서 전반적인 데이터 분산과 위상적 구조를 효율적으로 포착하는 방법을 만들기 위해.
• 스펙트럼 기반 방법이 전체 데이터셋을 다시 계산해야 하는 것과 달리, 재학습 없이도 훈련 가능하고 일반화 가능한 매핑을 제공하기 위해.

제안 방법

• 표준 자동에코더를 수정하여, 복셀 레이어를 입력 데이터 포인트가 해당 클래스의 중심점으로 매핑되도록 훈련시킨다.
• 탄함 활성화 함수를 사용한 대칭적 아키텍처(예: 784→784→784)를 통해 부드럽고 비선형적인 변환을 보장한다.
• 재구성 오차와 중심점 정규화 항을 조합한 손실 함수를 사용하여, 인코딩된 포인트가 특정 클래스의 중심점으로 끌려오도록 한다.
• 두 단계 훈련 프로세스를 적용한다: 먼저 자동에코더를 사전 훈련하고, 이후 중심점 제약 조건 하에 미세 조정한다.
• 결과로 생성된 잠재 표현은 PCA 또는 기타 선형 방법을 통해 시각화에 사용되며, 클래스 구조를 유지한다.
• 학습된 인코더를 사용해 새로운 데이터에 대한 추론을 수행할 수 있으며, 스펙트럼 기반 방법이 요구하는 전체 데이터셋에 대한 재계산이 필요로 하지 않는다.

실험 결과

연구 질문

• RQ1 지도 학습 기반 자동에코더 아키텍처가 낮은 차원의 임베딩에서 클래스 구조를 효과적으로 유지하면서도 높은 분산을 포착할 수 있는가?
• RQ2 CE는 최신 기술인 지도 학습 및 비지도 학습 기반 차원 감소 기법들과 비교해 분산 포착 능력과 시각화 품질 측면에서 어떻게 성능을 내는가?
• RQ3 CE 방법은 벤치마크 데이터셋에서 PCA, t-SNE, UMAP 등 다른 비선형 기법들보다 더 뛰어난 클래스 분리도를 달성하는가?
• RQ4 NCA나 UMAP와 같은 거리 기반 방법과 비교해 CE 방법은 계산 비용을 얼마나 줄이는가?
• RQ5 스펙트럼 임bedding 기법이 요구하는 것과 달리, CE 모델은 재학습 없이도 새로운 데이터에 일반화 가능한가?

주요 결과

• MNIST 4/9 부분집합에 대해 CE는 잠재 공간의 첫 100차원에서 전체 데이터 분산의 약 89%를 포착하는 반면, 원본 데이터에서는 단지 22%에 그친다.
• 변환된 데이터에 대해 PCA를 사용한 CE 기반 시각화에서는 클래스(예: 숫자 4와 9)가 명확히 분리되어 나타나지만, 표준 PCA는 이를 성취하지 못한다.
• CE는 지도 학습 기반 UMAP, SPCA, NCA, t-SNE 등 대부분의 경쟁 기법들보다 전반적인 데이터 구조와 클래스 분리도를 더 잘 유지한다.
• 쌍별 거리 계산이 필요로 하지 않음에도 불구하고, 최신 기술들과 경쟁 가능한 예측 오차를 달성한다.
• 거리 기반 방법들이 데이터 크기에 따라 제곱적으로 증가하는 것과 달리, CE는 데이터 크기에 대해 선형적으로 확장되어 대규모 데이터셋에 더 효율적이다.
• 스펙트럼 기반 방법이 전체 데이터셋의 고유벡터를 다시 계산해야 하는 것과 달리, CE 모델은 재학습 없이도 새로운 데이터에 대한 추론이 가능하다.