[논문 리뷰] Unsupervised Deep Embedding for Clustering Analysis

Junyuan Xie, Ross Girshick외 1명|arXiv (Cornell University)|2015. 11. 19.

Image Retrieval and Classification Techniques참고 문헌 36인용 수 116

한 줄 요약

이 논문은 자기지도 학습 타겟 분포를 사용하여 클러스터링 목적 함수를 반복 최적화하는 방식으로 깊이 있는 특징 표현과 클러스터 할당을 함께 학습하는 Deep Embedded Clustering (DEC)을 제안한다. DEC는 역전파를 통한 엔드 투 엔드 학습을 통해 이미지 및 텍스트 데이터셋에서 최신 기준 성능과 강건성을 달성하며, 기존 비지도 학습 방법보다 성능과 확장성 면에서 뛰어나다.

ABSTRACT

Clustering is central to many data-driven application domains and has been studied extensively in terms of distance functions and grouping algorithms. Relatively little work has focused on learning representations for clustering. In this paper, we propose Deep Embedded Clustering (DEC), a method that simultaneously learns feature representations and cluster assignments using deep neural networks. DEC learns a mapping from the data space to a lower-dimensional feature space in which it iteratively optimizes a clustering objective. Our experimental evaluations on image and text corpora show significant improvement over state-of-the-art methods.

연구 동기 및 목표

• 기존 클러스터링 방법이 수작업 또는 선형 특징 공간에 의존하는 데에 한계가 있음을 해결하기 위해, 데이터 기반의 비선형 표현을 학습하여 클러스터링에 활용하고자 한다.
• 라벨이 없는 클러스터 할당을 요구하지 않고도, 엔드 투 엔드 방식으로 깊이 신경망의 특징 학습과 클러스터 할당을 함께 최적화하고자 한다.
• 교차 검증이 불가능한 비지도 설정에서 하이퍼파ram터 설정에 대한 민감도를 줄이고 클러스터링 성능와 강건성을 향상시키고자 한다.
• 스펙트럼 클러스터링과 달리 데이터 포인트 수에 대해 선형 복잡도를 확보함으로써 대규모 데이터셋으로의 클러스터링 확장성을 확보하고자 한다.

제안 방법

• DEC는 입력 데이터에서 낮은 차원의 임bedding 공간으로의 비선형 사상 학습을 위해 깊이 신경망 오토인코더를 사용한다.
• 학생의 t-분포 기반 타겟 분포를 통해 소프트 클러스터 할당을 도입하며, 이를 반복적으로 업데이트하여 클러스터 할당을 정교화한다.
• 확률적 경사 하강법을 사용하여 예측 클러스터 분포와 타겟 분포 사이의 Kullback-Leibler (KL) 발산 목적 함수를 최적화한다.
• 모델은 반복적인 방식으로 학습되며, 먼저 오토인코더 특징으로 초기화한 후, 역전파를 통해 클러스터 할당을 개선하고 임베딩을 업데이트한다.
• 현재 소프트 할당 기반으로 타겟 분포를 동적으로 업데이트하여 확신 있는 클러스터 예측을 장려하고 임베딩 품질을 향상시킨다.
• 이 방법은 확장성이 뛰어나며 데이터 포인트 수에 대해 선형 복잡도를 보이며, 대규모 데이터셋에서의 효율적 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 딥 신경망은 엔드 투 엔드 방식으로 비지도 학습에서 특징 표현과 클러스터 할당을 동시에 학습시킬 수 있는가?
• RQ2 자기지도 타겟 분포를 사용한 반복적 정교화 방식이 기존 클러스터링 방법에 비해 클러스터링 성능를 어떻게 향상시키는가?
• RQ3 라벨이 없는 검증을 위한 데이터가 없을 경우, DEC는 하이퍼파ram터 설정에 대해 얼마나 민감도를 줄일 수 있는가?
• RQ4 제안된 방법은 고성능 클러스터링 정확도를 유지하면서 대규모 데이터셋으로 효율적으로 확장될 수 있는가?

주요 결과

• DEC는 MNIST, STL-10, 그리고 REUTERS 데이터셋에서 기존 표준 및 최신 기준 클러스터링 방법보다 뛰어난 최신 기준 성능을 달성한다.
• 모델은 하이퍼파ram터 설정에 대해 강건성을 보이며, 광범위한 설정에서 일관되게 성능 향상이 이루어지며, 광범위한 교차 검증 없이도 성능 향상이 가능하다.
• MNIST에서 클러스터 수가 9에서 10으로 증가할 때 일반화 능력이 급격히 떨어지는 것을 확인하여, 9개 클러스터가 최적임을 시사하며, 이는 최고의 NMI 점수와 일치한다.
• 임bedded 표현의 t-SNE 시각화 결과는 학습 에포크가 진행될수록 점점 더 잘 분리된 클러스터를 보여주며, 모델이 의미 있는 클러스터 구조를 학습할 수 있음을 확인한다.
• 기준 방법에 비해 클래스 불균형에 덜 민감하며, 클러스터 크기가 크게 다를 때에도 높은 정확도를 유지한다.
• 제거 분석 결과, 오토인코더 초기화와 KL 발산 최소화가 조합될 경우 성능 향상이 크게 이루어지며, 오토인코딩된 특징에서 k-means 및 기타 기준 방법보다 뛰어난 성능을 보였다.