[논문 리뷰] Deep Unsupervised Clustering with Gaussian Mixture Variational Autoencoders

Nat Dilokthanakul, Pedro A. M. Mediano외 5명|arXiv (Cornell University)|2016. 11. 08.

Generative Adversarial Networks and Image Synthesis참고 문헌 23인용 수 498

한 줄 요약

본 논문은 Gaussian Mixture Variational Autoencoder (GMVAE)를 제안하여 VAE 프레임워크 내에서 비지도 클러스터링을 수행하고, over-regularisation를 분석하며 이를 완화하기 위해 minimum information constraint를 적용하고, 해석 가능한 잠재 클러스터를 갖는 synthetic 데이터, MNIST, 및 SVHN에서 경쟁력 있는 비지도 클러스터링을 보여준다.

ABSTRACT

We study a variant of the variational autoencoder model (VAE) with a Gaussian mixture as a prior distribution, with the goal of performing unsupervised clustering through deep generative models. We observe that the known problem of over-regularisation that has been shown to arise in regular VAEs also manifests itself in our model and leads to cluster degeneracy. We show that a heuristic called minimum information constraint that has been shown to mitigate this effect in VAEs can also be applied to improve unsupervised clustering performance with our model. Furthermore we analyse the effect of this heuristic and provide an intuition of the various processes with the help of visualizations. Finally, we demonstrate the performance of our model on synthetic data, MNIST and SVHN, showing that the obtained clusters are distinct, interpretable and result in achieving competitive performance on unsupervised clustering to the state-of-the-art results.

연구 동기 및 목표

• 딥 생성 모델에서 다중모드 잠재 사전(multimodal latent prior)를 사용한 비지도 클러스터링의 동기를 제시한다.
• VAE에서 Gaussian mixture prior를 제안하고 추론을 위한 tractable ELBO를 도출한다.
• GMVAE에서 최소 정보 제약을 통해 over-regularisation를 식별하고 완화한다.
• GMVAE가 이미지 데이터셋에서 해석 가능하고 뚜렷한 잠재 클러스터를 학습함을 보인다.

제안 방법

• 잠재 x가 w에 조건화된 Gaussian mixture에서 샘플링되고, 이 혼합 구성요소를 선택하는 이산 클러스터 z가 존재하는 생성 모델을 정의한다.
• 인식 모델을 사용하여 변분 계열(factorised variational family)로 포스터리를 근사하고 z에 대한 조건부 사전(prior) 항을 포함하는 ELBO를 도출한다.
• z-포스트eri를 pβ(z|x,w)로 계산하고 이산 변수를 샘플링하지 않고 조건부 사전 항을 추정하여 표준 역전파가 가능하도록 한다.
• Kingma et al. 2016 스타일의 수정된 ELBO를 적용하여 z-prior 항을 임계값 λ로 상한을 걸어 과다 규제 활성화 이전에 클러스터 확산을 촉진하여 over-regularisation을 해결한다.
• 몬테카를로 추정을 사용해 평가하고 몬테카를로 샘플 수 M과 클러스터 수 K를 증가시키면 안정성과 성능이 향상됨을 보인다.
• 다양한 z 구성요소가 숫자에 대응하고 w가 MNIST/SVHN에서 스타일을 조절함에 따라 생성이 해석 가능해짐을 보여 생성 능력을 입증한다.

실험 결과

연구 질문

• RQ1 Gaussian mixture prior를 갖는 GMVAE가 VAE 프레임워크 내에서 비지도 클러스터링을 달성할 수 있는가?
• RQ2 과다 규제가 GMVAE 클러스터링에 어떤 영향을 미치며 최소 정보 제약이 이를 완화할 수 있는가?
• RQ3 GMVAE의 클러스터가 합성 예제 외 실제 이미지 데이터(MNIST/SVHN)에서 의미 있고 해석 가능한 요인에 대응하는가?

주요 결과

• GMVAE가 MNIST 및 SVHN에서 뚜렷하고 해석 가능한 클러스터를 학습할 수 있으며 비지도 클러스터링 성능이 경쟁력 있다.
• 완화 없이 z-prior 항은 데이터가 하나의 큰 클러스터로 수렴하는 클러스터 거시화를 초래한다.
• ELBO를 Kingma 등 스타일로 수정하여 z-prior 항을 상한으로 제어하면 조기 클러스터 병합을 방지하고 클러스터 확산을 개선한다.
• 클러스터 수 K와 몬테카를로 샘플 수 M을 증가시키면 강건성과 클러스터링 정확도가 향상된다.
• GMVAE의 잠재 구성요소는 숫자에 대응하고, z가 클래스를, w가 스타일을 제어하여 해석 가능한 생성이 가능하다.
• MNIST에서 K=10일 때 GMVAE가 최첨단 방법들과 비교해 경쟁력 있는 비지도 분류 정확도를 달성한다.