[논문 리뷰] N2D: (Not Too) Deep Clustering via Clustering the Local Manifold of an Autoencoded Embedding

Ryan McConville, Raúl Santos‐Rodríguez외 2명|arXiv (Cornell University)|2019. 08. 16.

Time Series Analysis and Forecasting인용 수 12

한 줄 요약

N2D는 딥 클러스터링 네트워크를 자동에코딩된 임베딩 상에서 UMAP 기반 국소 다양체 학습으로 대체하는 경량 딥 클러스터링 프레임워크를 제안한다. 이후 얕은 클러스터링을 수행한다. 이 방법은 이미지 및 시계열 데이터셋에서 최신 기술 수준 또는 경쟁 가능한 성능을 달성하며, Fashion-MNIST에서 최대 8%p, HAR에서 최대 15%p의 성능 향상을 보였다.

ABSTRACT

Deep clustering has increasingly been demonstrating superiority over conventional shallow clustering algorithms. Deep clustering algorithms usually combine representation learning with deep neural networks to achieve this performance, typically optimizing a clustering and non-clustering loss. In such cases, an autoencoder is typically connected with a clustering network, and the final clustering is jointly learned by both the autoencoder and clustering network. Instead, we propose to learn an autoencoded embedding and then search this further for the underlying manifold. For simplicity, we then cluster this with a shallow clustering algorithm, rather than a deeper network. We study a number of local and global manifold learning methods on both the raw data and autoencoded embedding, concluding that UMAP in our framework is best able to find the most clusterable manifold in the embedding, suggesting local manifold learning on an autoencoded embedding is effective for discovering higher quality discovering clusters. We quantitatively show across a range of image and time-series datasets that our method has competitive performance against the latest deep clustering algorithms, including out-performing current state-of-the-art on several. We postulate that these results show a promising research direction for deep clustering. The code can be found at https://github.com/rymc/n2d

연구 동기 및 목표

• 딥 클러스터링 네트워크를 자동에코딩된 표현 상에서 다양체 학습으로 대체함으로써 딥 클러스터링의 복잡성을 감소시키기.
• 자동에코딩된 임베딩의 국소 다양체를 학습하는 것이 직접 클러스터링하는 것보다 클러스터러빌리티(집합 가능성)를 향상시키는지 조사하기.
• 다양체 학습 기법(예: UMAP, t-SNE, Isomap, PCA)이 원본 데이터 및 자동에코딩된 데이터에 대해 어떻게 작용하는지 평가하기.
• UMAP로 임bedded된 자동에코딩에 얕은 클러스터링 알고리즘을 적용하면 최신 기술 수준의 딥 클러스터링 모델을 초월할 수 있는지 보여주기.
• 데이터 증강 여부에 관계없이 다양한 데이터셋(이미지 및 시계열 데이터 포함)에서 방법의 유효성을 검증하기.

제안 방법

• 원본 입력 데이터의 압축된 저차원 표현을 학습하기 위해 자동에코더를 훈련한다.
• 학습된 자동에코딩된 임베딩에 UMAP를 적용하여, 거리 유지 및 클러스터러블한 다양체를 발견한다.
• UMAP-임베딩된 공간에서 얕은 클러스터링 알고리즘(예: GMM)을 사용하여 최종 클러스터 레이블을 할당한다.
• 원본 데이터 및 자동에코딩된 데이터에 대해 다양체 학습 기법(PCA, Isomap, t-SNE, UMAP)을 평가하여 가장 효과적인 방법을 식별한다.
• 국소 구조 보존과 전반적 위상 유지 간의 균형을 고려해, UMAP를 다양체 학습기로 선택함으로써 파이프라인을 최적화한다.
• 재구성 손실을 사용해 자동에코더를 엔드 투 엔드로 훈련하고, UMAP 및 클러스터링은 훈련 후 비미분 가능하지만 효과적인 파이프라인으로 적용한다.

실험 결과

연구 질문

• RQ1 자동에코딩된 임베딩 상에서 딥 클러스터링 네트워크를 다양체 학습 단계로 대체하면 클러스터링 성능이 향상되는가?
• RQ2 국소 또는 전역 다양체 학습 기법 중 어느 것이 자동에코딩된 임베딩에서 클러스터러블한 구조를 가장 잘 보존하는가?
• RQ3 국소 다양체 학습과 전반적 위상 보존을 동시에 수행하는 UMAP는 다른 방법보다 뛰어난 클러스터링 성능을 낼 수 있는가?
• RQ4 N2D는 다양한 데이터셋, 특히 비이미지 데이터에 대해 최신 기술 수준의 딥 클러스터링 모델과 비교해 어떻게 성능을 내는가?
• RQ5 경쟁 모델에서 데이터 증강을 제거했을 때 N2D의 성능 향상 효과가 유지되는가?

주요 결과

• Fashion-MNIST 데이터셋에서 N2D는 다음으로 높은 성능을 보인 ASPC-DA보다 5%p 높은 정확도를 기록했다.
• HAR 시계열 데이터셋에서 N2D는 가장 가까운 경쟁자인 IDEC보다 정확도가 15%p 향상되어 비이미지 데이터에 대해 뛰어난 성능을 보였다.
• MNIST-test에서 N2D는 상위 3개 이내에 속하며, 최고 성능을 낸 JULE와 정확도가 1%p 이내로 근접했고, ASPC-DA보다 2%p 뒤지지 않았다.
• ASPC-DA에서 데이터 증강을 제거했을 때 성능이 크게 떨어졌으며(예: MNIST에서 0.924 → N2D의 0.988), 이는 N2D의 강건성을 입증한다.
• N2D는 MNIST와 Fashion-MNIST를 약 18분 내에 클러스터링하고, 나머지 데이터셋은 2~4분 내에 처리하여 높은 계산 효율성을 보였다.
• UMAP는 자동에코딩된 공간에서 클러스터러블한 구조를 보존하는 데 가장 효과적인 다양체 학습 기법으로 밝혀졌으며, PCA, t-SNE, Isomap보다 뚜렷한 성능 향상을 보였다.