[논문 리뷰] Deep Unsupervised Clustering Using Mixture of Autoencoders

Dejiao Zhang, Yifan Sun외 2명|arXiv (Cornell University)|2017. 12. 21.

Generative Adversarial Networks and Image Synthesis참고 문헌 25인용 수 37

한 줄 요약

이 논문은 다수의 비선형 다양체를 혼합된 오토인코더와 혼합 할당 네트워크를 통해 동시로 학습하는 딥 비지도 학습 클러스터링 프레임워크인 MIXAE를 제안한다. 재구성 오차와 클러스터 할당을 동시에 최적화함으로써, MNIST, CIFAR-10, Reuters와 같은 벤치마크 데이터셋에서 최신 기술 수준(SOTA)의 성능을 달성하며, 수기 스타일과 같은 세부적인 스타일적 변형을 효과적으로 포착한다.

ABSTRACT

Unsupervised clustering is one of the most fundamental challenges in machine learning. A popular hypothesis is that data are generated from a union of low-dimensional nonlinear manifolds; thus an approach to clustering is identifying and separating these manifolds. In this paper, we present a novel approach to solve this problem by using a mixture of autoencoders. Our model consists of two parts: 1) a collection of autoencoders where each autoencoder learns the underlying manifold of a group of similar objects, and 2) a mixture assignment neural network, which takes the concatenated latent vectors from the autoencoders as input and infers the distribution over clusters. By jointly optimizing the two parts, we simultaneously assign data to clusters and learn the underlying manifolds of each cluster.

연구 동기 및 목표

• 비지도 클러스터링에서 단일 다각형 오토인코더가 복잡한 비선형성 및 겹치는 데이터 구조를 포착하는 데에 한계가 있음을 해결하기 위해.
• 클러스터별로 저차원의 다각형을 동시에 학습하고, 엔드 투 엔드 최적화를 통해 데이터 포인트를 클러스터에 할당하기 위해.
• 복잡한 비선형성과 겹치는 클러스터 구조를 가진 대규모 고차원 데이터셋에서의 클러스터링 성능 향상.
• 각 클러스터의 별개의 부분다양체를 모델링하기 위해 다수의 오토인코더를 허용함으로써, 데이터 내 세부적인 스타일적 변형(예: 수기 스타일)을 탐지할 수 있도록 하기 위해.

제안 방법

• 각 오토인코더가 특정 클러스터에 대해 저차원 비선형 다각형을 학습하는 혼합 오토인코더를 사용한다.
• 모든 오토인코더의 잠재 벡터를 연결하여 입력으로 받는 혼합 할당 신경망이 부드러운 클러스터 할당 분포를 예측한다.
• 목적 함수는 오토인코더에서 유도된 재구성 손실과 혼합 네트워크에서 유도된 클러스터 할당 손실을 조합하여 동시에 최적화한다.
• 배치 엔트로피 정규화를 적용하여 균형 잡힌 데이터셋에서 균일한 클러스터 할당을 장려함으로써 안정성을 향상시킨다.
• 엔드 투 엔드 학습이 가능하게 하여 다각형 학습과 클러스터링이 상호 보완적으로 발전함으로써 표현 분리도 향상된다.
• Reuters와 같이 비균형 데이터셋의 경우, 메서드가 클래스 불균형에 민감함을 보이며, 이는 향후 정규화 개선의 잠재적 기회를 시사한다.

실험 결과

연구 질문

• RQ1 혼합 오토인코더가 다수의 비선형 다각형을 동시에 학습하고, 단일 오토인코더 기반 방법보다 뛰어난 클러스터링 성능를 달성할 수 있는가?
• RQ2 다각형 학습과 클러스터 할당의 공동 최적화가 표현 품질과 클러스터링 정확도를 어떻게 향상시키는가?
• RQ3 모델이 수기 숫자의 다양한 글쓰기 스타일과 같은 데이터의 세부적인 스타일적 변형을 어느 정도 탐지할 수 있는가?
• RQ4 비균형 데이터셋에서 모델의 성능는 어떠한가? 그리고 이러한 환경에서 배치 엔트로피 정규화가 초래하는 한계는 무엇인가?

주요 결과

• MIXAE는 MNIST, CIFAR-10, Reuters 데이터셋에서 기존의 딥 클러스터링 모델인 DEC보다 최신 기술 수준(SOTA)의 클러스터링 성능를 달성한다.
• K가 증가함에 따라 직선형 대비 기울어진 1의 형태나 둥근 대비 얇은 0의 형태 등 더 세분화된 클러스터 구조를 탐지함으로써 스타일 기반 클러스터링이 가능함을 보여준다.
• MNIST에서 $K=30$일 경우 클러스터 순도가 증가하여, 각 숫자를 다수의 부분클러스터로 분할함으로써 다각형 겹침을 감소시키고 분리도 향상됨을 시사한다.
• K가 증가함에 따라 최종 클러스터 할당이 점점 비균형이 되며, 추정된 레이블 공분산 행렬의 대각선 요소들이 높은 분산을 보임을 확인하였다.
• Reuters 데이터셋에서 모델은 낮은 샘플 기반 엔트로피를 달성하지 못하여, 클래스 불균형으로 인한 지속적인 클러스터 할당의 모호성으로 인해 어려움을 겪는다.
• 다각형 학습과 클러스터링의 공동 최적화가 고립된 오토인코더나 클러스터링 헤드 학습보다 더 잘 분리된 잠재 표현을 도출할 수 있음을 입증하였다.