[논문 리뷰] Variational Deep Embedding: An Unsupervised and Generative Approach to Clustering

Zhuxi Jiang, Yin Zheng외 3명|arXiv (Cornell University)|2016. 11. 16.

Generative Adversarial Networks and Image Synthesis참고 문헌 43인용 수 87

한 줄 요약

이 논문은 변분 오토에인코더(VAE)와 가우시안 믹스처 모델(GMM) 사전을 조합하여 깊이 있는 표현과 군집 할당을 동시에 학습하는 새로운 비모수적 생성 군집 프레임워크인 변분 딥 임베딩(VaDE)을 제안한다. 군집 선택, 잠재 표현 샘플링, DNN 기반 디코딩을 통해 데이터 생성을 모델링함으로써, 재생가능성 재정의 기법을 사용한 확률적 경사 하강 변분 베이즈(SGVB)를 통해 증거 하한 경계(ELBO)를 최적화함으로써, 감독 없이도 실재적인 샘플을 생성하면서 최신 기준(SOTA) 수준의 군집 성능을 달성한다.

ABSTRACT

Clustering is among the most fundamental tasks in computer vision and machine learning. In this paper, we propose Variational Deep Embedding (VaDE), a novel unsupervised generative clustering approach within the framework of Variational Auto-Encoder (VAE). Specifically, VaDE models the data generative procedure with a Gaussian Mixture Model (GMM) and a deep neural network (DNN): 1) the GMM picks a cluster; 2) from which a latent embedding is generated; 3) then the DNN decodes the latent embedding into observables. Inference in VaDE is done in a variational way: a different DNN is used to encode observables to latent embeddings, so that the evidence lower bound (ELBO) can be optimized using Stochastic Gradient Variational Bayes (SGVB) estimator and the reparameterization trick. Quantitative comparisons with strong baselines are included in this paper, and experimental results show that VaDE significantly outperforms the state-of-the-art clustering methods on 4 benchmarks from various modalities. Moreover, by VaDE's generative nature, we show its capability of generating highly realistic samples for any specified cluster, without using supervised information during training. Lastly, VaDE is a flexible and extensible framework for unsupervised generative clustering, more general mixture models than GMM can be easily plugged in.

연구 동기 및 목표

• 비모수적 방식으로 깊이 있는 표현과 군집 할당을 동시에 학습하는 군집 방법을 개발하는 것.
• 군집 식별자를 조건으로 하여 현실적인 샘플을 생성할 수 있는 능력을 갖춘 군집 모델을 설계하는 것.
• 생성 모델링 및 샘플 합성 능력이 없는 기존의 딥 군집 모델(예: DEC)의 한계를 극복하는 것.
• 잠재 코드에 대한 가우시안 믹스처 모델을 사전으로 사용하여 데이터 생성 과정을 모델링함으로써 군집 성능을 향상시키는 것.
• 제안된 프레임워크가 다양한 데이터 모odal리티에 일반화되며, 군집 수가 변할 경우에도 안정성을 유지함을 보여주는 것.

제안 방법

• VaDE는 데이터 생성을 세 단계 과정으로 모델링한다: (1) GMM 사전에서 군집을 선택하고, (2) 해당 군집에 맞는 가우시안 분포에서 잠재 표현을 샘플링하며, (3) 깊은 신경망이 잠재 표현을 관측 가능한 데이터로 디코딩한다.
• 모델은 Stochastic Gradient Variational Bayes(SGVB) 추정기를 사용하여 로그우도의 증거 하한 경계(ELBO)를 최대화함으로써 훈련된다.
• 관측된 데이터를 잠재 표현으로 매핑하기 위해 별도의 인코더 네트워크를 사용하며, 재정의 기법을 통해 엔드 투 엔드 학습이 가능하다.
• 기존 VAE의 단일 가우시안 사전을 대체하여 GMM 사전을 도입함으로써, 다수의 군집을 자연스럽게 지원하고 군집별 데이터 분포를 모델링할 수 있다.
• 인코더와 디코더 네트워크를 번갈아가며 업데이트함으로써 표현 학습과 군집 성능 향상을 동시에 개선하는 최적화 과정을 수행한다.
• 유연한 사전 설계를 지원하여 향후 GMM 이외의 다른 믹스처 모델로의 확장도 가능하다.

실험 결과

연구 질문

• RQ1 비모수적 생성 모델을 설계하여, 현실적인 샘플 생성 능력을 유지하면서도 비모수적 군집을 수행할 수 있는가?
• RQ2 VAE에 GMM 사전을 결합함으로써, 기존 VAE나 오토에인코더 기반 군집 모델에 비해 군집 성능가 향상되는가?
• RQ3 학습된 잠재 표현이 비생성 모델(예: DEC)과 비교할 때 데이터의 내재된 구조를 얼마나 잘 유지하는가?
• RQ4 군집 수가 진짜 클래스 수와 다를 경우 모델의 성능는 어떻게 되는가?
• RQ5 감독 신호 없이도 특정 군집 레이블 조건 하에 고품질이고 다양한 샘플을 생성할 수 있는가?

주요 결과

• VaDE는 다양한 데이터 모달리티에 걸쳐 5개의 다양한 벤치마크에서 최신 기준(SOTA) 군집 방법보다 뚜렷이 뛰어난 군집 정확도를 보이며, 뛰어난 군집 성능을 입증한다.
• VAE와 DEC보다 더 낮은 잘못된 군집 샘플 수를 기록하며, 특히 군집 내부 영역에서 성능 향상을 보였다.
• t-SNE를 사용한 시각화 결과 VaDE는 VAE와 DEC보다 더 구조적이고 분리 가능한 표현을 학습함을 보였으며, 잘못 분류된 샘플은 주로 군집 경계 근처에 위치해 있었다.
• 군집 수를 진짜 클래스 수 이하로 설정했을 경우(예: MNIST에서 7개), VaDE는 시각적으로 유사한 숫자(예: 9와 4, 3과 8)를 같은 군집으로 묶었다.
• 군집 수가 클래스 수를 초과할 경우(예: MNIST에서 14개), VaDE는 0의 두께(얇은 vs 두꺼운)나 1의 자세(세로 vs 기울인)와 같은 서브클래스를 발견했다.
• VaDE는 감독 없이도 매우 현실적이고 다양한, 클래스 조건 기반의 샘플을 생성하며, InfoGAN 수준의 성능을 달성했다.