[논문 리뷰] On GANs and GMMs

Eitan Richardson, Yair Weiss|arXiv (Cornell University)|2018. 05. 31.

Generative Adversarial Networks and Image Synthesis인용 수 48

한 줄 요약

이 논문은 고차원 이미지의 통계적 구조를 학습하기 위해 생성적 적대적 네트워크(GANs)와 가우시안 믹스처 모델(GMMs)을 비교한다. 신경망이나 계산이 어려운 계산에 의존하지 않는 간단한 박스 기반 평가 방법을 제안하며, GANs가 모드 붕괴로 인해 전체 데이터 분포를 포괄하지 못하는 데 반해 GMMs는 현실적이고 선명한 이미지를 생성함으로써 전체 데이터 분포를 잘 포괄함을 보여준다.

ABSTRACT

A longstanding problem in machine learning is to find unsupervised methods that can learn the statistical structure of high dimensional signals. In recent years, GANs have gained much attention as a possible solution to the problem, and in particular have shown the ability to generate remarkably realistic high resolution sampled images. At the same time, many authors have pointed out that GANs may fail to model the full distribution (mode collapse) and that using the learned models for anything other than generating samples may be very difficult. In this paper, we examine the utility of GANs in learning statistical models of images by comparing them to perhaps the simplest statistical model, the Gaussian Mixture Model. First, we present a simple method to evaluate generative models based on relative proportions of samples that fall into predetermined bins. Unlike previous automatic methods for evaluating models, our method does not rely on an additional neural network nor does it require approximating intractable computations. Second, we compare the performance of GANs to GMMs trained on the same datasets. While GMMs have previously been shown to be successful in modeling small patches of images, we show how to train them on full sized images despite the high dimensionality. Our results show that GMMs can generate realistic samples (although less sharp than those of GANs) but also capture the full distribution, which GANs fail to do. Furthermore, GMMs allow efficient inference and explicit representation of the underlying statistical structure. Finally, we discuss how GMMs can be used to generate sharp images.

연구 동기 및 목표

• 추가적인 신경망이나 계산이 어려운 계산의 근사치를 사용하지 않고도 생성 모델을 평가하는 것.
• 간단한 모델임에도 불구하고 전체 크기의 고차원 이미지를 효과적으로 모델링할 수 있는지 조사하는 것.
• 동일한 데이터셋을 사용하여 GANs와 GMMs의 분포 충실도와 샘플 품질을 비교하는 것.
• GMMs가 선명한 이미지를 어떻게 생성할 수 있는지 탐구하여, 일반적으로 그들의 현실성에 대한 비판에 대응하는 것.

제안 방법

• 정의된 박스에 속하는 생성된 샘플의 상대 비율을 세는 박스 기반 평가 방법을 제안하여 보조 네트워크나 복잡한 근사치에 의존하지 않도록 한다.
• 고차원 파rameterization과 효율적인 추론 기법을 활용하여 전체 크기의 이미지에 대해 GMMs를 훈련시어 복잡성을 다루는 데 성공한다.
• GANs와 GMMs 모두 동일한 데이터셋을 사용하여 샘플 품질과 분포 커버리지 간의 공정한 비교를 보장한다.
• 명시적인 통계 모델링을 통해 기저 데이터 분포를 표현하여 효율적인 추론과 해석 가능성을 제공한다.
• 정련 기법을 적용하여 GMMs를 활용해 선명한 이미지를 생성함으로써 단순한 샘플링을 넘어서는 잠재력을 입증한다.
• 정량적 박스 기반 지표와 정성적 샘플 분석을 통해 분포 커버리지와 현실성 간의 비교를 위해 결과를 검증한다.

실험 결과

연구 질문

• RQ1 계산이 어려운 계산을 근사치 없이도 정확하게 평가할 수 있는 단순한 비신경망 평가 방법이 생성 모델 성능 평가에 효과적인가?
• RQ2 모드 붕괴에 취약한 GANs와는 달리, 전체 크기의 이미지에 훈련된 GMMs가 전체 데이터 분포를 더 잘 포괄하는가?
• RQ3 GANs에 비해 단순한 모델임에도 불구하고 GMMs가 현실적이고 선명한 이미지를 생성할 수 있는가?
• RQ4 GMMs의 명시적 통계 표현 방식이 고차원 이미지 모델링에서 효율적인 추론과 해석 가능성을 어떻게 지원하는가?
• RQ5 GMMs를 어떻게 개선하여 GANs 수준의 선명한 이미지 샘플을 생성할 수 있는가?

주요 결과

• 제안된 박스 기반 평가 방법은 추가적인 신경망이나 복잡한 근사치 없이도 모델 성능을 효과적으로 측정한다.
• 고차원성에도 불구하고 GMMs는 전체 크기의 이미지를 성공적으로 모델링하여 대규모 이미지 분포 학습의 가능성과 타당성을 입증한다.
• GMMs는 GAN 생성 샘플과 시각적 품질에서 경쟁 가능한 현실적이고 선명한 이미지를 생성한다.
• GANs와 달리 GMMs는 전체 데이터 분포를 포괄하여 모드 붕괴를 피하고 신뢰할 수 있는 후속 추론을 가능하게 한다.
• GMMs는 기저 통계적 구조를 명시적이고 해석 가능한 방식으로 표현하여 효율적이고 원칙적인 추론을 지원한다.
• 본 연구는 GMMs가 개선되어 GANs 수준의 높은 현실성의 이미지 샘플을 생성할 수 있음을 입증하며, 단지 딥 생성 모델인 GANs만이 높은 현실성을 달성할 수 있다는 가정을 도전한다.