[논문 리뷰] Variational Deep Embedding: A Generative Approach to Clustering.

Zhuxi Jiang, Yin Zheng외 3명|arXiv (Cornell University)|2016. 11. 16.

Generative Adversarial Networks and Image Synthesis참고 문헌 31인용 수 35

한 줄 요약

VaDE는 잠재 표현 위에 혼합 정규분포 모델(GMM)을 사용하여 데이터 생성을 모델링하고, 이후 딥 네ural 네트워크 디코딩을 수행하는 변분 오토인코더 기반의 생성적 클러스터링 방법을 제안한다. 확률적 경량 변분 베이즈(SGVB)와 재생성 기법을 사용하여 증거 하한값(ELBO)을 최적화함으로써, VaDE는 네 가지 다양한 벤치마크에서 최신 기준 성능을 달성하며, 레이블 없이도 현실적인 클러스터별 샘플 생성이 가능하다.

ABSTRACT

Clustering is among the most fundamental tasks in computer vision and machine learning. In this paper, we propose Variational Deep Embedding (VaDE), a novel unsupervised generative clustering approach within the framework of Variational Auto-Encoder (VAE). Specifically, VaDE models the data generative procedure with a Gaussian Mixture Model (GMM) and a deep neural network (DNN): 1) the GMM picks a cluster; 2) from which a latent embedding is generated; 3) then the DNN decodes the latent embedding into observables. Inference in VaDE is done in a variational way: a different DNN is used to encode observables to latent embeddings, so that the evidence lower bound (ELBO) can be optimized using Stochastic Gradient Variational Bayes (SGVB) estimator and the reparameterization trick. Quantitative comparisons with strong baselines are included in this paper, and experimental results show that VaDE significantly outperforms the state-of-the-art clustering methods on 4 benchmarks from various modalities. Moreover, by VaDE's generative nature, we show its capability of generating highly realistic samples for any specified cluster, without using supervised information during training. Lastly, VaDE is a flexible and extensible framework for unsupervised generative clustering, more general mixture models than GMM can be easily plugged in.

연구 동기 및 목표

• 변분 오토인코더 프레임워크 내에서 클러스터링과 표현 학습을 통합하는 통합된 딥 생성 모델을 개발하는 것.
• 잠재 변수 위에 혼합 정규분포 모델(GMM)을 사용하여 데이터 생성 과정을 모델링함으로써 생성 시에 명시적인 클러스터 할당을 가능하게 하는 것.
• 재생성 기법과 SGVB 추정기를 사용한 변분 추론을 통해 엔드 투 엔드 학습을 가능하게 하는 것.
• 다양한 데이터 모odal리티에서 기존 최신 기준 방법들보다 뛰어난 클러스터링 성능를 달성하는 것.
• 학습 중에 레이블 데이터를 사용하지 않고도 특정 클러스터에 조건부로 고품질의 샘플을 생성할 수 있도록 하는 것.

제안 방법

• VaDE는 데이터 생성을 이중 단계 과정으로 모델링한다: 첫째, GMM이 클러스터를 선택하고, 둘째, 딥 네ural 네트워크가 잠재 표현을 관측 가능한 데이터로 디코딩한다.
• 모델는 입력 데이터를 잠재 표현으로 매핑하는 별도의 딥 인코더를 사용하는 변분 추론 프레임워크를 활용하며, 이는 증거 하한값(ELBO) 최적화를 가능하게 한다.
• 확률적 경량 변분 베이즈(SGVB)와 재생성 기법을 사용하여 확률적 잠재 변수를 통해 기울기를 역전파한다.
• 미니배치 확률적 경량 최적화를 사용하여 ELBO 목적함수를 최적화함으로써 대규모 데이터셋에서도 스케일러블한 학습이 가능하다.
• 프레임워크는 확장 가능하며, GMM 대신 더 일반적인 혼합 모델을 사용할 수 있어 모델링의 유연성을 향상시킬 수 있다.
• 추론 시에는 훈련된 인코더가 잠재 코드를 생성하고, 디코더는 선택된 클러스터에 조건부로 샘플을 생성한다.

실험 결과

연구 질문

• RQ1 GMM을 통해 클러스터 할당을 명시적으로 모델링하는 딥 생성 모델이 기존 방법들보다 뛰어난 클러스터링 성능를 달성할 수 있는가?
• RQ2 재생성 기법을 포함한 변분 추론 프레임워크가 딥 클러스터링 모델의 효과적인 엔드 투 엔드 학습을 얼마나 잘 가능하게 하는가?
• RQ3 VaDE는 학습 중에 레이블 데이터를 사용하지 않고도 특정 클러스터에 조건부로 현실적이고 고품질의 샘플을 생성할 수 있는가?
• RQ4 VaDE 프레임워크는 다양한 데이터 모달리티와 클러스터링 작업에 얼마나 일반화 가능한가?
• RQ5 GMM을 초월한 더 유연한 혼합 모델을 사용할 수 있도록 모델을 확장할 수 있는가?

주요 결과

• VaDE는 다양한 데이터 모달리티를 포함한 네 가지 벤치마크에서 최신 기준 클러스터링 방법들을 크게 앞서는 성능를 보였다.
• 모델는 모든 평가된 데이터셋에서 뛰어난 정확도와 강건성을 보이며 최신 기준 클러스터링 성능를 달성했다.
• VaDE는 레이블 없는 환경에서도 특정 클러스터에 대해 고품질이고 현실적인 샘플 생성이 가능했다.
• VaDE의 생성 능력은 GMM을 통해 클러스터별로 명시적인 데이터 생성 과정을 모델링한 데 기인한다.
• 프레임워크는 탄탄하고 확장 가능하며, GMM을 초월한 더 일반적인 혼합 모델을 통합하여 모델링 능력을 향상시킬 수 있다.
• 재생성 기법과 SGVB는 딥 생성 설정에서 ELBO 목적함수의 안정적이고 효율적인 최적화를 가능하게 했다.