[논문 리뷰] Scalable Deep Unsupervised Clustering with Concrete GMVAEs

Mark Collier, Hector Urdiales|arXiv (Cornell University)|2019. 09. 18.

Gaussian Processes and Bayesian Inference참고 문헌 11인용 수 5

한 줄 요약

이 논문은 Concrete GMVAE를 제안하며, 이는 이산 클러스터 할당을 가우스 혼합 VAE에서 Concrete(Gumbel-Softmax) 분포를 사용한 연속적 근사로 대체함으로써 확장 가능한 딥 비지도 학습 클러스터링 방법이다. 재파arameterization 기법을 통한 미분 가능 샘플링을 가능하게 함으로써, 클러스터 수에 대해 선형에서 상수 시간 복잡도로 훈련 시간 복잡도가 감소하여, 20개의 클러스터를 가진 CIFAR-100에서 75-80%의 속도 향상을 달성하면서도 동등한 클러스터링 성능을 유지한다.

ABSTRACT

Discrete random variables are natural components of probabilistic clustering models. A number of VAE variants with discrete latent variables have been developed. Training such methods requires marginalizing over the discrete latent variables, causing training time complexity to be linear in the number clusters. By applying a continuous relaxation to the discrete variables in these methods we can achieve a reduction in the training time complexity to be constant in the number of clusters used. We demonstrate that in practice for one such method, the Gaussian Mixture VAE, the use of a continuous relaxation has no negative effect on the quality of the clustering but provides a substantial reduction in training time, reducing training time on CIFAR-100 with 20 clusters from 47 hours to less than 6 hours.

연구 동기 및 목표

• 표준 GMVAE의 높은 훈련 시간 복잡도 문제를 해결하기 위해, 이는 이산 클러스터 할당에 대한 마진화로 인해 클러스터 수에 비례하여 선형적으로 증가하기 때문이다.
• 현재 계산 비용으로 인해 비현실적인 큰 수의 클러스터를 가진 딥 클러스터링 모델의 엔드 투 엔드 훈련을 가능하게 하기 위함이다.
• 이산 잠재 변수의 연속적 근사를 통해 훈련 시간을 극적으로 단축시키면서도 클러스터링 성능를 유지하기 위함이다.
• 클러스터 할당 변수의 연속적 근사가 로그우도나 클러스터링 능력 측면에서 모델 품질을 떨어뜨리지 않는지 확인하기 위함이다.

제안 방법

• GMVAE의 이산 범주형 분포 $ q(\mathbf{y} \mid \mathbf{x}) $를 연속적 Concrete 분포로 대체하여, 미분 가능한 샘플링을 가능하게 한다.
• Concrete 분포에 재파arameterization 기법을 적용하여, 모든 클러스터 인덱스에 대한 합산 없이도 클러스터 할당을 통해 기울기 역전파를 가능하게 한다.
• 이제 $ \mathbf{y} $에 대한 합산이 필요 없어진 단일 샘플 몬테카를로 추정치를 사용한 ELBO를 사용함으로써, 훈련 시간 복잡도를 $ O(K) $에서 $ O(1) $로 감소시킨다. 여기서 $ K $는 클러스터 수이다.
• KL 발산 항 $ D_{KL}(q(\mathbf{y} \mid \mathbf{x}) \parallel p(\mathbf{y})) $에 온도-냉각 스케줄을 도입하여, 처음에는 0에서 시작하여 점차 1로 증가시켜, 후행 분포 붕괴를 방지하고 의미 있는 클러스터 사용을 유도한다.
• 가장자리 샘플링을 사용하여 이완된 후행 분포에서 $ \mathbf{y} $와 $ \mathbf{z} $를 생성함으로써, 효율적이고 미분 가능한 훈련을 가능하게 한다.
• 테스트 시간에선 $ q(\mathbf{y} \mid \mathbf{x}) $의 argmax를 one-hot 인코딩하여 $ \mathbf{y} $를 이산화함으로써, 추론을 위한 이산 클러스터 할당을 복원한다.

실험 결과

연구 질문

• RQ1 GMVAE의 이산 클러스터 할당에 대해 연속적 근사를 적용할 경우, 클러스터링 성능에 손상이 가지 않고 훈련 시간 복잡도를 감소시킬 수 있는가?
• RQ2 Concrete 분포는 딥 클러스터링 모델에서 이산 잠재 변수를 통해 효과적인 역전파를 가능하게 하는가?
• RQ3 표준 GMVAE와 비교해 볼 때, 클러스터 수가 증가함에 따라 Concrete GMVAE의 훈련 시간은 어떻게 변화하는가?
• RQ4 KL 냉각은 모델이 의미 있는 클러스터 할당을 배우는 데 어떤 영향을 미치는가?
• RQ5 Concrete GMVAE는 표준 GMVAE와 비교해 유사한 로그우도와 클러스터링 품질을 달성하면서도 훨씬 더 빠른 속도를 보일 수 있는가?

주요 결과

• CIFAR-100에서 20개의 클러스터를 사용할 경우, Concrete GMVAE는 훈련 시간을 47.24시간에서 5.73시간으로 75% 감소시켰다.
• MNIST에서 10개의 클러스터를 사용할 경우, 훈련 시간은 15.73시간에서 3.55시간으로 77% 감소했다.
• 테스트 세트의 로그우도는 표준 GMVAE와 Concrete GMVAE 간 거의 동일하다: MNIST에서는 -46.96 ± 0.81 vs. -46.61 ± 0.79이며, CIFAR-100에서는 -1725.87 ± 2.12 vs. -1725.47 ± 2.20이다.
• KL 냉각을 적용하지 않을 경우, 모델은 클러스터 할당을 학습하지 못하며, KL 발산이 0으로 수축함으로써 냉각 스케줄이 필수적임을 확인했다.
• 훈련 시간 복잡도는 클러스터 수에 대해 실제로 상수로 유지되어, 이전에는 표준 GMVAE로는 비현실적이었던 대규모 클러스터링 문제의 확장성 가능성을 보였다.
• 이 방법은 모델 품질을 유지하면서도, 큰 수의 클러스터를 가진 딥 클러스터링 모델의 효율적이고 엔드 투 엔드 훈련을 가능하게 했다.