[논문 리뷰] Autoencoded UMAP-Enhanced Clustering for Unsupervised Learning

Malihehsadat Chavooshi, A. Mamonov|ArXiv.org|2025. 01. 13.

Advanced Clustering Algorithms Research인용 수 3

한 줄 요약

논문은 Autoencoded UMAP-Enhanced Clustering (AUEC)를 도입하는데, 비지도 프레임워크의 3단계로 클러스터링을 촉진하는 오토인코더와 UMAP 정제 단계를 결합하여 MNIST 클러스터링 정확도를 높인다.

ABSTRACT

We propose a novel approach to unsupervised learning by constructing a non-linear embedding of the data into a low-dimensional space followed by any conventional clustering algorithm. The embedding promotes clusterability of the data and is comprised of two mappings: the encoder of an autoencoder neural network and the output of UMAP algorithm. The autoencoder is trained with a composite loss function that incorporates both a conventional data reconstruction as a regularization component and a clustering-promoting component built using the spectral graph theory. The two embeddings and the subsequent clustering are integrated into a three-stage unsupervised learning framework, referred to as Autoencoded UMAP-Enhanced Clustering (AUEC). When applied to MNIST data, AUEC significantly outperforms the state-of-the-art techniques in terms of clustering accuracy.

연구 동기 및 목표

• 데이터 토폴로지를 비선형 임베딩으로 드러내고 클러스터링 전에 이를 통해 개선된 클러스터링을 유도한다.
• 클러스터링 친화적 임베딩을 공동으로 학습하고 이를 UMAP으로 정제하는 3단계 프레임워크를 개발한다.
• 특징 학습과 최종 클러스터링 단계를 분리해 다운스트림 클러스터링의 유연성을 높인다.

제안 방법

• Stage I은 클러스터링 촉진 구성 요소와 재구성 규제 항을 결합한 공동 손실로 오토인코더를 학습한다.
• 클러스터링 손실은 상대 스펙트럴 간격(RSG)을 통해 스펙트럴 그래프 이론을 사용하여 클러스터화 가능성을 촉진한다.
• Stage II는 압축 임베딩에 UMAP을 적용하여 정제된 저차원 표현을 얻는다.
• Stage III는 정제된 임베딩에 일반적인 클러스터링 알고리즘을 적용한다(예: K-means 또는 DBSCAN 변형).
• 훈련의 안정화를 위해 재구성 손실만으로 오토인코더를 사전 학습할 수 있다.

실험 결과

연구 질문

• RQ1 오토인코더 기반 임베딩과 UMAP 정제를 결합한 3단계 프레임워크가 전통적인 차원 축소 + 클러스터링 파이프라인보다 클러스터링 성능을 향상시킬 수 있는가?
• RQ2 오토인코더 학습에서 스펙트럴 그래프 이론 기반 클러스터링 손실(RSG)을 사용하는 것이 잠재 공간의 클러스터화 가능성을 향상시키는가?
• RQ3 MNIST에서 ACC, NMI, ARI 측면에서 AUEC가 최첨단의 비지도 방법들과 어떻게 비교되는가?
• RQ4 테스트 데이터에 적용할 때 Stage I을 재학습하지 않아도 AUEC 프레임워크가 얼마나 강건한가?
• RQ5 최종 클러스터링 알고리즘의 선택(예: K-means 대 DBSCAN 변형)이 AUEC 파이프라인의 이득에 영향을 주는가?

주요 결과

Method	ACC	NMI	ARI
KMS	59.07%	50.95%	40.47%
UMAP+KMS	86.59%	85.73%	80.41%
DEC	84.30%	-	-
DCN	83%	81%	75%
FCAE-KMS	79.4%	69.8%	-
AUEC-MDBSCAN	97.52%	93.46%	94.64%

• AUEC with MDBSCAN achieves ACC of 97.52%, NMI 93.46%, ARI 94.64% on MNIST training data.
• UMAP+KMS without the autoencoder yields ACC 86.59%, NMI 85.73%, ARI 80.41% on MNIST, showing substantial gains from AUEC.
• Stage I uses a clustering loss based on the relative spectral gap (RSG) to improve clusterability over standard reconstruction alone.
• Stage II’s UMAP refinement further enhances clusterable structure, enabling flexible downstream clustering.
• A robustness study shows test-data metrics without retraining Stage I degrade modestly (ACC ~2% drop) while remaining high, indicating practical robustness.
• Compared to DEC, DCN, and FCAE-KMS, AUEC-MDBSCAN substantially outperforms on the reported metrics.