[논문 리뷰] Flow-GAN: Combining Maximum Likelihood and Adversarial Learning in Generative Models

Aditya Grover, Manik Dhar외 1명|arXiv (Cornell University)|2017. 05. 24.

Generative Adversarial Networks and Image Synthesis인용 수 73

한 줄 요약

Flow-GAN은 역변환 가능한 정규화 흐름 생성기를 사용하여 GAN 스타일 생성기에 대한 정확한 가능도 평가를 가능하게 하며, 샘플 품질과 보유된 가능도 간의 균형을 맞추는 하이브리드 목표를 가능하게 한다.

ABSTRACT

Adversarial learning of probabilistic models has recently emerged as a promising alternative to maximum likelihood. Implicit models such as generative adversarial networks (GAN) often generate better samples compared to explicit models trained by maximum likelihood. Yet, GANs sidestep the characterization of an explicit density which makes quantitative evaluations challenging. To bridge this gap, we propose Flow-GANs, a generative adversarial network for which we can perform exact likelihood evaluation, thus supporting both adversarial and maximum likelihood training. When trained adversarially, Flow-GANs generate high-quality samples but attain extremely poor log-likelihood scores, inferior even to a mixture model memorizing the training data; the opposite is true when trained by maximum likelihood. Results on MNIST and CIFAR-10 demonstrate that hybrid training can attain high held-out likelihoods while retaining visual fidelity in the generated samples.

연구 동기 및 목표

• 생성 모델에 대해 최대우도 추정(MLE)과 적대적 학습을 결합하는 동기를 부여한다.
• 역가능성 변환기(normalizing flow) 생성기를 갖는 GAN인 Flow-GAN을 도입하여 정확한 가능도 평가를 가능하게 한다.
• MNIST와 CIFAR-10에서 MLE, 적대적 학습, 그리고 하이브리드 목적을 경험적으로 비교한다.
• AIS/KDE의 가능도 추정 한계를 분석하고 결과를 생성기 Jacobian 조건화와 연관지어 해석한다.

제안 방법

• 변화-변수 공식(change-of-variables)을 통해 가능도 계산을 가능하게 하려면 GAN 생성기로 정규화 흐름을 사용한다.
• 역변환 가능성으로 인해 p_theta(x)의 정확한 평가와 잠재 변수에 대한 정확한 사후 추론이 가능하다.
• 최대우도와 적대적 목표(예: Wasserstein GAN) 하에서 Flow-GAN을 학습한다.
• 람다로 가중치를 둔 가능도 항과 적대적 목표를 결합한 하이브드 목표를 제안한다.
• 생성기의 야코비안(Jacobian)을 조사하여 적대적 학습하에서의 낮은 가능도와 하이브리드 접근법의 동기를 설명한다.
• 표준 샘플 품질 지표(MODE/Inception)를 사용하여 MNIST(NICE 기반 흐름)와 CIFAR-10(Real-NVP 기반 흐름)을 평가한다.

실험 결과

연구 질문

• RQ1 Flow-GAN에서 최대우도와 적대적 학습이 보유된 로그 가능도와 샘플 품질 측면에서 어떻게 비교되는가?
• RQ2 표준 이미지 데이터셋에서 가능도와 샘플 선명도를 함께 잘 달성하는 하이브리드 목표가 가능한가?
• RQ3 정확한 가능도가 계산될 수 있을 때도 적대적 학습 하에서 관찰되는 낮은 가능도를 설명하는 요인은 무엇인가?
• RQ4 훈련 데이터를 기억하는 가우시안 혼합 모형과 같은 간단한 기초 모델이 적대적으로 학습된 Flow-GAN보다 가능도 측면에서 더 나은가?

주요 결과

• 적대적 학습은 샘플 품질은 높게 만들지만 보유된 가능도(log-likelihood)는 MLE보다 상당히 나쁘다.
• MLE 기반 Flow-GAN은 가능도 측면에서 훨씬 더 우수하지만 시각적으로 샤프한 샘플은 적대적 학습 버전에 비해 덜하다.
• 간단한 가우시안 혼합 기초 모델이 CIFAR-10에서(그리고 MNIST 경향이 유지되며) 샘플 품질과 보유된 가능도 면에서 적대적으로 학습된 Flow-GAN보다 우수할 수 있다.
• 적대적 학습과 가능도 항을 결합한 하이브리드 목표가 두 목표의 균형을 맞출 수 있으며, MNIST에서 가능도와 샘플 품질을 모두 향상시킨다.
• 생성기 야코비안의 분석은 적대적 학습이 잘 조건화되지 않은 야코비안과 작은 유효 지지 대역을 초래해 가능도가 낮아진다는 것을 보여주며, 하이브리드 목표가 이를 완화한다.