[논문 리뷰] Disentangling to Cluster: Gaussian Mixture Variational Ladder Autoencoders

Matthew Willetts, Stephen Roberts외 1명|arXiv (Cornell University)|2019. 09. 25.

Bayesian Methods and Mixture Models참고 문헌 31인용 수 4

한 줄 요약

이 논문은 각 잠재층에서 가우시안 혼합 성분을 갖는 변동형 래더 autoencoder(VLAC)를 제안하여, 숫자 식별성 또는 색상과 같은 서로 다른 클러스터링 요인을 별개로 포착할 수 있는 분리된 클러스터링을 가능하게 한다. SVHN에서 단일층 가우시안 혼합 DGM(0.252)보다 높은 테스트 세트 클러스터링 정확도(0.378)를 달성하여, 분리된 표현에서의 계층적 클러스터링이 성능을 향상시킨다는 것을 입증한다.

ABSTRACT

In clustering we normally output one cluster variable for each datapoint. However it is not necessarily the case that there is only one way to partition a given dataset into cluster components. For example, one could cluster objects by their colour, or by their type. Different attributes form a hierarchy, and we could wish to cluster in any of them. By disentangling the learnt latent representations of some dataset into different layers for different attributes we can then cluster in those latent spaces. We call this "disentangled clustering". Extending Variational Ladder Autoencoders (Zhao et al., 2017), we propose a clustering algorithm, VLAC, that outperforms a Gaussian Mixture DGM in cluster accuracy over digit identity on the test set of SVHN. We also demonstrate learning clusters jointly over numerous layers of the hierarchy of latent variables for the data, and show component-wise generation from this hierarchical model.

연구 동기 및 목표

• 단일 클러스터 변수 클러스터링의 한계를 해결하기 위해 계층적 잠재층 전반에 걸쳐 다수의 분리된 클러스터링 요인을 가능하게 하기 위해.
• 분리된 표현에서 엉키지 않은 요소들 대신 별개의 해석 가능한 클러스터 컴포넌트를 학습하여 클러스터링 성능을 향상시키기 위해.
• 분리된 공간에서의 계층적 클러스터링이 표준 딥 생성 모델보다 클러스터링 정확도에서 뛰어나다는 것을 입증하기 위해.

제안 방법

• 각 층에서 잠재 변수에 대해 가우시안 혼합 사전확률을 도입하여 변동형 래더 오토인코더(VLAE)를 확장함으로써 클러스터링을 가능하게 한다.
• 각 층 $ \ell $에 대해 클러스터 할당 $ y_{\ell} $ 를 추론하기 위해 인식 네트워크를 사용하는 암시적 변동 추론을 적용함으로써 테스트 시점 클러스터링을 가능하게 한다.
• 모든 조합을 통합하지 않고도 이산 클러스터 변수에 대한 기대치를 확률적으로 추정하기 위해 Gumbel-Softmax 기법을 적용한다.
• 각 층 $ \ell $ 가 자체 클러스터 변수 $ y_{\ell} $ 와 $ K_{\ell} $ 개의 성분을 갖는 계층적 생성 모델을 구현함으로써 성분별 생성을 가능하게 한다.
• 잠재 변수 $ z_{\ell} $ 와 $ y_{\ell} $ 의 사후분포와 사전분포 간의 KL 발산, 그리고 잠재변수에 조건부 데이터의 가능도를 포함하는 변동 하한을 최적화한다.
• 생성망 $ f $ 와 복원망 $ g $ 에 대해 컨볼루션 및 트랜스포지션 네트워크를 사용하고, $ p(x|z) $ 는 고정 분산 가우시안 가능도를 사용한다.

실험 결과

연구 질문

• RQ1 각각 다른 데이터 속성을 포착하는 다수의 분리된 잠재 변수 층에서 효과적인 클러스터링이 수행될 수 있는가?
• RQ2 분리된 잠재 공간에서의 계층적 클러스터링은 단일층 모델 대비 클러스터링 정확도를 향상시키는가?
• RQ3 모델은 숫자 식별성 또는 이미지 색상과 같은 진짜 속성에 대응하는 의미 있는 클러스터 컴포넌트를 학습할 수 있는가?
• RQ4 VLAC는 SVHN에서 최신 기술 수준의 클러스터링 방법과 비교해 어떻게 성능을 내는가?
• RQ5 학습된 클러스터 컴포넌트에서 성분별 생성이 분리성과 가시성을 입증하는가?

주요 결과

• VLAC가 $ \mathbf{K^{\text{two}}}} = [1,5,50,1] $ 를 사용할 경우 테스트 세트 클러스터링 정확도가 0.378에 도달하여, 단일층 가우시안 혼합 DGM 기준선(0.252)을 뚜렷이 뛰어넘었다.
• 모델은 세 번째 계층에서 숫자 식별성을 성공적으로 분리하여, 클러스터 컴포넌트가 진짜 숫자 클래스와 일치함을 확인했다.
• 2번 층에서의 성분별 생성 결과는 이미지 색온도와 관련된 명확한 클러스터를 드러내어 학습된 요소의 해석 가능성을 입증했다.
• VLAC가 $ \mathbf{K^{\text{one}}}} = [1,1,50,1] $ 를 사용할 경우 0.351의 정확도를 달성하여, 단일 추가 클러스터링 층만으로도 표준 DGM보다 성능 향상을 이룬다는 것을 보여주었다.
• 디코더 평균의 시각화 결과는 동일한 층 내의 서로 다른 클러스터 컴포넌트가 의미적으로 명확한 이미지 변형을 생성함을 확인했다.
• 결과적으로, 분리된 표현에서의 계층적 클러스터링은 딥 생성 모델의 성능과 해석 가능성 양면에서 향상된다는 점을 시사한다.