[논문 리뷰] On the Quantitative Analysis of Decoder-Based Generative Models

Yuhuai Wu, Yuri Burda외 2명|arXiv (Cornell University)|2016. 11. 14.

Generative Adversarial Networks and Image Synthesis인용 수 34

한 줄 요약

이 논문은 디코더 기반 생성 모델에서 로그우도를 정확하게 추정하기 위해 안내된 중요도 샘플링(AIS)을 제안하며, 이의 정확성을 双방향 몬테카를로(BDMC)를 통해 검증한다. AIS는 VAE가 GAN과 GMMN보다 300 내트 이상 높은 로그우도를 달성함을 드러내며, 잘못된 커널 밀도 추정(KDE)에 의해 왜곡된 결론을 바로잡는다. 동시에 GAN의 모드 붕괴와 VAE의 과적합 현상도 드러낸다.

ABSTRACT

The past several years have seen remarkable progress in generative models which produce convincing samples of images and other modalities. A shared component of many powerful generative models is a decoder network, a parametric deep neural net that defines a generative distribution. Examples include variational autoencoders, generative adversarial networks, and generative moment matching networks. Unfortunately, it can be difficult to quantify the performance of these models because of the intractability of log-likelihood estimation, and inspecting samples can be misleading. We propose to use Annealed Importance Sampling for evaluating log-likelihoods for decoder-based models and validate its accuracy using bidirectional Monte Carlo. The evaluation code is provided at https://github.com/tonywu95/eval_gen. Using this technique, we analyze the performance of decoder-based models, the effectiveness of existing log-likelihood estimators, the degree of overfitting, and the degree to which these models miss important modes of the data distribution.

연구 동기 및 목표

• 디코더 기반 생성 모델인 VAE, GAN, GMMN에서 로그우도 추정의 비가역성 문제를 해결하기 위해.
• 특히 고차원 데이터 환경에서 로그우도 추정기의 정확성을 검증하기 위해.
• 모델이 훈련 데이터에 과적합하는지, 또는 중요한 데이터 분포 모드를 놓치는지 조사하기 위해.
• 샘플 기반 또는 KDE 기반 평가에 의해 오도되는 대신, 정확한 로그우도 추정을 통해 VAE, GAN, GMMN의 진정한 성능을 비교하기 위해.

제안 방법

• 직접 계산이 불가능한 상황에서 로그우도를 추정하기 위해 디코더 기반 모델에 안내된 중요도 샘플링(AIS)을 사용하여 정확한 평가를 가능하게 한다.
• 추정 오차와 사후 분포의 분리 정도에 대한 증명 가능한 경계를 제공하는 이중 방향 몽테카를로(BDMC)를 사용해 AIS의 정확성을 검증한다.
• VAE의 인식 네트워크를 활용하여 초기 제안 분포로 사용함으로써 AIS의 수렴 속도를 향상시킨다.
• 비교 기준으로 커널 밀도 추정(KDE)을 사용하지만, 고차원에서의 정확도가 떨어지는 점을 고려해 이를 인정한다.
• AIS를 통해 근사 사후 샘플을 시각화하여 모드 커버리지와 재구성 품질을 평가한다.
• 모델 간 훈련 및 테스트 로그우도를 비교하여 과적합 정도를 정량화한다.

실험 결과

연구 질문

• RQ1 디코더 기반 모델에 대해 기존의 로그우도 추정기, 예를 들어 KDE나 중요도 가중치 기반 하한선은 얼마나 정확한가?
• RQ2 GAN과 GMMN은 훈련 데이터를 암기함으로써 과적합하는가, 아니면 VAE보다 더 잘 일반화하는가?
• RQ3 훈련 데이터에 존재하는 바에도 불구하고, 생성 모델이 중요한 데이터 분포 모드를 놓치는가?
• RQ4 정확한 로그우도 추정을 통해 VAE, GAN, GMMN의 실제 성능은 어떻게 비교되는가?
• RQ5 샘플 검사나 KDE로는 드러나지 않는 과적합과 모드 붕괴를 AIS와 BDMC가 탐지할 수 있는가?

주요 결과

• KDE는 고차원에서 특히 신뢰할 수 없기 때문에, AIS는 KDE보다 두 개의 지수 정도 더 높은 정확도로 VAE, GAN, GMMN의 로그우도를 추정한다.
• VAE는 GAN과 GMMN보다 300 내트 이상 높은 로그우도를 달성한다—이 격차는 KDE가 감지하지 못해 잘못된 결론을 이끌어내는 것을 시사한다.
• GAN과 GMMN는 VAE만큼 과적합하지 않으며, 실제로 훈련 및 테스트 로그우도 격차가 더 작다. 이는 이들이 훈련 데이터를 암기한다는 가설을 뒷받침하지 못한다.
• AIS를 통한 사후 분포 시각화 결과, GAN은 훈련 데이터에 존재하는 숫자 ‘2’의 세부적인 변형과 같은 미세한 데이터 모드를 놓친다.
• VAE-50의 IWAE 하한선은 200 에포크 이후에 감소하지만, AIS 추정치는 안정적으로 유지되며, 이는 인식 네트워크의 과적합이 생성 네트워크의 과적합이 아니라는 것을 시사한다.
• KDE는 GMMN-50이 10,000 에포크에서 성능 포화에 도달한 것처럼 잘못 판단하지만, AIS는 계속된 향상을 보여주며, KDE가 지속적인 학습을 감지하지 못하는 실패를 드러낸다.