[논문 리뷰] Gaussian mixture models with Wasserstein distance

Benoit Gaujac, Ilya Feige외 1명|arXiv (Cornell University)|2018. 06. 12.

Generative Adversarial Networks and Image Synthesis참고 문헌 26인용 수 7

한 줄 요약

이 논문은 이산 및 연속 잠재 변수를 모두 갖는 생성 모델을 훈련하기 위해 워샤르 거리(Wasserstein distance)를 통한 최적 운반(Optimal Transport)을 사용하는 가우시안 믹스처 워샤르 오토에인코드러(GM-WAEs)를 제안한다. 이 방법은 목적 함수나 하이퍼파rameter를 수정하지 않고도 MNIST에서 성공적으로 모델을 훈련시키며, 높은 이산 잠재 변수 충실도(76% 정확도)와 의미 있는 샘플 생성을 달성한다.

ABSTRACT

Generative models with both discrete and continuous latent variables are highly motivated by the structure of many real-world data sets. They present, however, subtleties in training often manifesting in the discrete latent being under leveraged. In this paper, we show that such models are more amenable to training when using the Optimal Transport framework of Wasserstein Autoencoders. We find our discrete latent variable to be fully leveraged by the model when trained, without any modifications to the objective function or significant fine tuning. Our model generates comparable samples to other approaches while using relatively simple neural networks, since the discrete latent variable carries much of the descriptive burden. Furthermore, the discrete latent provides significant control over generation.

연구 동기 및 목표

• 이산 잠재 변수가 표준 VAE에서 제대로 활용되지 않는 경우에 특히, 이산 및 연속 잠재 변수를 모두 갖는 생성 모델을 훈련시키는 데 도전하는 것.
• 특히 비지도 설정에서 가우시안 믹스처 잠재 변수 모델(GM-LVMs)을 훈련할 때 전통적인 VAE가 안정성 부족과 수렴 불량 문제를 겪는 것을 해결하는 것.
• 최적 운반 프레임워크—특히 워샤르 오토에인코드러(WAE) 목적 함수—가 기존 VAE보다 GM-LVMs의 훈련을 더 효과적으로 가능하게 하는지 보여주는 것.
• 구조적 또는 목적 함수 수정 없이도 이산 잠재 변수가 완전히 활용되며, 이로 인해 생성 제어가 향상되고 재구성 충실도가 향상되는지 보여주는 것.

제안 방법

• 연속 잠재 변수 위에 가우시안 믹스처를 적용한 계층적 생성 모델을 설정하며, 이는 이산 카테고리 잠재 변수가 믹스처 구성 요소를 제어한다.
• 진짜 데이터 분포와 모델이 생성하는 분포 사이의 최적 운반(워샤르) 거리를 최소화하기 위해 워샤르 오토에인코드러(WAE) 프레임워크를 사용한다.
• 변분 사후 분포 $ q_{D}(k|x) $ 와 $ q_{C}(z|k,x) $ 를 사용하여 모델을 훈련시키며, 목적 함수는 WAE의 분포 일치 손실 기반으로 설정된다.
• 워샤르 거리가 유도하는 더 약한 위상 구조를 활용하여 훈련을 안정화시키고, 변분 사후 분포와 사전 분포 간의 보다 좋은 일치를 가능하게 한다.
• 연속 잠재 공간을 시각화하기 위해 UMAP 차원 축소를 적용하여 군집 구조와 사전 분포와의 일치도를 평가한다.
• 이산 잠재 충실도를 평가하기 위해 단순한 레이블 할당 프로토콜을 사용한다: 각 이산 잠재 변수 $ k $ 는 평균 사후 확률이 가장 높은 숫자 클래스에 할당하고, 테스트 세트에서 분류 정확도를 계산한다.

실험 결과

연구 질문

• RQ1 VAE가 일반적으로 실패하는 비지도 설정에서 워샤르 오토에인코드러 프레임워크가 가우시안 믹스처 잠재 변수 모델(GM-LVMs)을 효과적으로 훈련시킬 수 있는가?
• RQ2 VAE 목적 함수 대신 최적 운반을 사용할 경우, GM-LVMs에서 이산 잠재 변수의 활용도가 향상되는가?
• RQ3 감독 없이 또는 목적 함수 수정 없이도 GM-WAE의 이산 잠재 변수가 의미 있는, 클래스별 특성 표현을 얼마나 잘 학습하는가?
• RQ4 GM-WAE 모델의 연속 및 이산 잠재 변수가 표준 VAE나 GAN과 비교해 데이터 재구성과 현실적인 샘플 생성을 얼마나 잘 수행하는가?

주요 결과

• GM-WAE 모델은 목적 함수를 수정하거나 하이퍼파rameter를 크게 조정하지 않고도 비지도 설정에서 MNIST에서 성공적으로 훈련된다.
• 이산 잠재 변수가 모델에 완전히 활용되어 테스트 세트에서 숫자 클래스 할당 정확도가 76%에 도달하며, 기본 K-평균 클러스터링(50–60%)보다 뚜렷이 뛰어나다.
• 모델은 사전 분포에서 고해상도이고 현실적인 샘플을 생성하며, 잠재 공간 내에서 효과적인 분리와 의미 있는 구조를 보여준다.
• UMAP를 사용한 시각화 결과, 연속 잠재 공간 $ z $ 는 숫자 클래스에 해당하는 명확한 겹치는 군집을 형성하며, 변분 사후 분포와 사전 분포 간 강한 일치를 보인다.
• 이산 변분 분포 $ q_{D}(k|x) $ 는 서로 다른 숫자 클래스를 다른 이산 잠재 구성 요소에 할당하는 것을 학습하지만, 일부 겹침(예: 9가 $ k=0,4,9 $ 에 할당됨)이 존재하여 손글씨 숫자의 자연스러운 변형을 반영한다.
• 변분 사후 분포와 사전 분포 간의 거리가 가까이 유지되어, WAE 목적 함수를 통한 효과적인 분포 일치와 안정적인 훈련을 나타낸다.