[논문 리뷰] Competitive Training of Mixtures of Independent Deep Generative Models

Francesco Locatello, Damien Vincent외 4명|arXiv (Cornell University)|2018. 04. 30.

Generative Adversarial Networks and Image Synthesis참고 문헌 37인용 수 15

한 줄 요약

이 논문은 복잡한 데이터 분포의 서로 다른 모드에 각각 전문화될 수 있도록 돕기 위해 보조 판별기(auxiliary discriminators)를 사용하여 독립적인 딥 생성 모델의 혼합모델을 경쟁적으로 훈련시키는 방법을 제안한다. 이로 인해 샘플 품질과 로그우도(log-likelihood)가 향상되며, MNIST와 CelebA에서 최신 기준(FID 점수)을 달성한다. 경쟁을 통한 훈련의 분리(decoupling)로 인해 단일 모델이나 배깅(bagging)보다 더 뛰어난 성능을 달성한다.

ABSTRACT

A common assumption in causal modeling posits that the data is generated by a set of independent mechanisms, and algorithms should aim to recover this structure. Standard unsupervised learning, however, is often concerned with training a single model to capture the overall distribution or aspects thereof. Inspired by clustering approaches, we consider mixtures of implicit generative models that ``disentangle'' the independent generative mechanisms underlying the data. Relying on an additional set of discriminators, we propose a competitive training procedure in which the models only need to capture the portion of the data distribution from which they can produce realistic samples. As a by-product, each model is simpler and faster to train. We empirically show that our approach splits the training distribution in a sensible way and increases the quality of the generated samples.

연구 동기 및 목표

• 용량 제약으로 인해 단일 생성 모델이 모드에 붕괴되는 문제를 해결하기 위해.
• 복잡한 데이터 분포의 서로 다른 구성 요소에 다수의 생성 모델이 전문화되도록 하기 위해.
• 각 모델이 잘 모델링할 수 있는 데이터의 일부에 집중할 수 있도록 해 샘플 품질과 로그우도를 향상시키기 위해.
• f-발산 최소화를 사용하여 암시적 생성 모델 혼합모델을 훈련시키는 일반적인 프레임워크를 개발하기 위해.
• VAE(전체 분포를 모델링함)와 GAN(모드 붕괴 문제를 애초에 겪음) 사이의 격차를 인과적 분리(causal disentanglement)를 통해 메우기 위해.

제안 방법

• 각 생성 모델이 데이터 분포의 서로 다른 부분에서 현실적인 샘플을 생성하도록 하는 생성 모델 혼합모델을 도입한다.
• 각 생성 모델의 훈련을 독립적으로 이끄는 샘플 품질 평가를 위해 보조 판별기를 사용한다.
• 전체 f-발산을 모델 별 구성요소로 분리하여 각 생성 모델의 병렬적이고 독립적인 훈련을 가능하게 한다.
• 혼합 모델과 진짜 데이터 분포 사이의 일반 f-발산을 최소화하는 것으로 훈련 목표를 수립한다.
• 특정 조건 하에서 k-means 클러스터링과 유사한 성질을 보임을 보여주며, 이는 k-means가 특수한 경우로 복귀됨을 밝힌다.
• VAE와 GAN 모두에 이 프레임워크를 적용하여 순차적 훈련 없이도 서로 다른 모드에 전문화될 수 있도록 한다.

실험 결과

연구 질문

• RQ1 보조 판별기를 사용한 경쟁적 훈련이 다수의 생성 모델이 복잡한 데이터 분포의 서로 다른 모드에 전문화되도록 할 수 있는가?
• RQ2 제안된 방법이 단일 모델이나 앙상블 기반 방법에 비해 샘플 품질과 로그우도를 어떻게 향상시키는가?
• RQ3 이 방법이 VAE와 GAN 모두에 일반화되는 정도는 어떠한가? 그리고 클러스터링 알고리즘과의 관계는 무엇인가?
• RQ4 경쟁적 훈련 절차가 데이터 분포의 더 분리되고 해석 가능한 표현을 이끌어내는가?
• RQ5 이 방법을 적응형 구성 요소 선택 또는 모델 간 매개변수 공유로 확장할 수 있는가?

주요 결과

• 경쟁적 훈련 절차는 데이터 분포를 명확히 분리하는 데 성공했으며, 유사한 숫자와 스타일이 생성 샘플에서 함께 클러스터링된다.
• MNIST에서 3개의 GAN을 사용하고 필터 수를 512로 설정했을 때 FID 점수는 19.38을 기록했으며, 단일 GAN(21.18)과 배깅(71.90)보다 뛰어나다.
• CelebA에서 3개의 GAN을 사용하고 필터 수를 512로 설정했을 때 FID 점수는 23.75를 기록했으며, 단일 GAN(23.63)과 배깅(71.90)보다 뚜렷하게 우수하다.
• CelebA에서 VAE를 사용했을 때 FID 점수는 64.55를 기록했으며, 더 큰 VAE(67.06)와 경쟁 가능했고, 배깅(71.90)보다 뚜렷하게 우수했다.
• 절단 분석(ablation study) 결과, 개별 모델이 전체 분포를 잘 모델링할 수 없을 경우 성능 향상이 가장 두드러졌다.
• 이 방법은 VAE와 GAN 모두에 일반화되며, 데이터셋과 아키텍처에 관계없이 샘플 품질과 로그우도에서 일관된 향상이 관찰되었다.