[논문 리뷰] Entropic GANs meet VAEs: A Statistical Approach to Compute Sample Likelihoods in GANs

Yogesh Balaji, Hamed Hassani외 2명|arXiv (Cornell University)|2018. 10. 09.

Generative Adversarial Networks and Image Synthesis참고 문헌 32인용 수 10

한 줄 요약

이 논문은 생성적 적대적 네트워크(GANs)에서 샘플의 우도를 계산할 수 있도록 하는 통계적 프레임워크를 수립한다. 이는 생성자 출력 기반의 명시적 확률 모델과 손실 함수를 도입함으로써 이루어지며, 엔트로피 정규화를 적용한 GAN이 평균 로그우도에 대한 변분 하한을 최대화함을 증명함으로써, GAN과 VAE를 동일한 통계 원리 아래 통합하고 GAN 내에서 우도 기반 추론을 가능하게 한다.

ABSTRACT

Building on the success of deep learning, two modern approaches to learn a probability model from the data are Generative Adversarial Networks (GANs) and Variational AutoEncoders (VAEs). VAEs consider an explicit probability model for the data and compute a generative distribution by maximizing a variational lower-bound on the log-likelihood function. GANs, however, compute a generative model by minimizing a distance between observed and generated probability distributions without considering an explicit model for the observed data. The lack of having explicit probability models in GANs prohibits computation of sample likelihoods in their frameworks and limits their use in statistical inference problems. In this work, we resolve this issue by constructing an explicit probability model that can be used to compute sample likelihood statistics in GANs. In particular, we prove that under this probability model, a family of Wasserstein GANs with an entropy regularization can be viewed as a generative model that maximizes a variational lower-bound on average sample log likelihoods, an approach that VAEs are based on. This result makes a principled connection between two modern generative models, namely GANs and VAEs. In addition to the aforementioned theoretical results, we compute likelihood statistics for GANs trained on Gaussian, MNIST, SVHN, CIFAR-10 and LSUN datasets. Our numerical results validate the proposed theory.

연구 동기 및 목표

• GAN의 근본적 한계인 명시적 확률 모델 부재로 인한 샘플 우도 계산 불가능성 해결.
• 엔트로피 정규화된 GAN이 평균 로그우도에 대한 변분 하한을 최적화함을 보여줌으로써 GAN과 VAE 간의 통계적 격차를 메운다.
• GAN으로 훈련된 모델을 사용하여 샘플 우도에 대한 하한을 원리적으로 계산하는 방법을 개발함으로써 통계적 추론 작업에 활용 가능하게 한다.
• MNIST, CIFAR-10, SVHN, LSUN 및 가우시안 분포 데이터에 대해 이론적 프레임워크를 실증적으로 검증한다.
• 실제 데이터셋에서 생성자가 선형인 경우나 결합이 잘 학습된 경우에 특히 진정한 로그우도에 대한 우수한 근사치를 제공함을 보여준다.

제안 방법

• 명시적 조건부 확률 모델 제안: $ f_{Y|X=\mathbf{x}}(\mathbf{y}) \propto \exp(-\ell(\mathbf{y}, \mathbf{G}(\mathbf{x}))) $, 여기서 $ \ell $ 는 손실 함수(예: L2 또는 L2²).
• 엔트로피 정규화된 GAN 목적함수(엔트로피 정규화를 적용한 워셔스타인 GAN)를 최소화하는 것은 평균 샘플 로그우도에 대한 변분 하한을 최대화하는 것과 동치임을 보인다.
• 최적 운반 이론과 엔트로피 정규화를 활용해 결합 분포 $ \mathbb{P}_{X|Y=\mathbf{y}} $ 를 유도하며, 이는 은닉 변수에 대한 근사 사후분포로 기능한다.
• 재구성 손실의 기대값, 은닉 사후분포의 엔트로피, 그리고 상수 항을 조합하여 우도 대체치를 구성한다.
• 훈련된 GAN의 생성자와 판별기를 활용하여 엔트로피 최적 운반에서 유도된 최적 결합을 통해 은닉 사후분포 $ \mathbb{P}_{X|Y=\mathbf{y}} $ 를 추정한다.
• 선형 및 비선형 생성자 모두에 프레임워크를 적용하며, 선형 케이스에는 닫힌 형태의 해를, 비선형 케이스에는 경험적 추정을 사용한다.

실험 결과

연구 질문

• RQ1 GAN의 암묵적 성격에도 불구하고 샘플 우도 계산을 가능하게 하는 통계적 프레임워크를 구축할 수 있는가?
• RQ2 엔트로피 정규화된 GAN의 최적화 목적함수는 평균 로그우도에 대한 변분 하한을 최대화하는 것과 동치인가, 이로써 VAE와의 일치가 이루어지는가?
• RQ3 실제 데이터셋인 MNIST, CIFAR-10, SVHN에 적용했을 때 로그우도에 대한 변분 하한은 얼마나 타이트한가?
• RQ4 GAN에서 유도된 우도 대체치는 통계적 추론 작업에서 진짜 데이터 우도의 신뢰할 수 있는 대체로 사용될 수 있는가?
• RQ5 특히 선형 및 비선형 설정에서 진짜 사후분포 $ f_{X|Y=\mathbf{y}} $ 와 GAN으로 학습된 사후분포 $ \mathbb{P}_{X|Y=\mathbf{y}} $ 사이의 근사 오차는 얼마인가?

주요 결과

• 엔트로피 정규화된 GAN 목적함수는 이론적으로 평균 샘플 로그우도에 대한 변분 하한을 최대화하는 것과 동치이며, 이는 GAN 훈련의 통계적 정당성을 제공한다.
• 선형 생성자에 대해 제곱 손실을 사용할 경우, 진짜 사후분포 $ f_{X|Y=\mathbf{y}} $ 와 GAN으로 학습된 사후분포 $ \mathbb{P}_{X|Y=\mathbf{y}} $ 사이의 근사 오차는 로그우도 값보다 수개월 정도 작다.
• 선형 케이스에서는 진짜 사후분포와 학습된 사후분포 간의 KL 발산이 작고 닫힌 형태로 계산 가능하여 하한의 타이트함을 검증한다.
• 비선형 생성자에 대해서는 추정된 우도 대체치가 정확한 데이터 로그우도에 매우 가까이 근접함을 표 2에서 확인할 수 있었으며, 이는 강력한 경험적 성능을 나타낸다.
• 우도 대체치는 모델 선택, 이상치 탐지, 도메인 이동 정량화 등의 실용적 응용을 가능하게 한다.
• 이 프레임워크는 엔트로피 정규화를 적용해 훈련된 GAN이 훈련 안정성을 향상시킬 뿐 아니라 통계적으로 의미 있는 우도 추정치를 제공함을 보여준다.