[논문 리뷰] On distinguishability criteria for estimating generative models

Ian Goodfellow|arXiv (Cornell University)|2014. 12. 19.

Generative Adversarial Networks and Image Synthesis참고 문헌 2인용 수 87

한 줄 요약

이 논문은 노이즈 컨트라스트 추정(NCE), 생성 적대적 네트워크(GANs), 최대우도추정(MLE) 간의 이론적 관계를 분석한다. 동적 생성자 버전의 NCE는 MLE와 동치임을 보여주지만, GANs는 구분 가능성 게임을 포기하지 않는 한 MLE 기울기 정보를 복원할 수 없으며, 기존 이론은 비볼록 설정에서 GANs 수렴을 보장하지 못한다.

ABSTRACT

Two recently introduced criteria for estimation of generative models are both based on a reduction to binary classification. Noise-contrastive estimation (NCE) is an estimation procedure in which a generative model is trained to be able to distinguish data samples from noise samples. Generative adversarial networks (GANs) are pairs of generator and discriminator networks, with the generator network learning to generate samples by attempting to fool the discriminator network into believing its samples are real data. Both estimation procedures use the same function to drive learning, which naturally raises questions about how they are related to each other, as well as whether this function is related to maximum likelihood estimation (MLE). NCE corresponds to training an internal data model belonging to the {\em discriminator} network but using a fixed generator network. We show that a variant of NCE, with a dynamic generator network, is equivalent to maximum likelihood estimation. Since pairing a learned discriminator with an appropriate dynamically selected generator recovers MLE, one might expect the reverse to hold for pairing a learned generator with a certain discriminator. However, we show that recovering MLE for a learned generator requires departing from the distinguishability game. Specifically: (i) The expected gradient of the NCE discriminator can be made to match the expected gradient of MLE, if one is allowed to use a non-stationary noise distribution for NCE, (ii) No choice of discriminator network can make the expected gradient for the GAN generator match that of MLE, and (iii) The existing theory does not guarantee that GANs will converge in the non-convex case. This suggests that the key next step in GAN research is to determine whether GANs converge, and if not, to modify their training algorithm to force convergence.

연구 동기 및 목표

• 생성 모델링 맥락에서 NCE, GANs, MLE 간의 이론적 관계를 명확히 하기.
• GANs가 최대우도추정의 기울기 업데이트를 복원할 수 있는지 조사하기.
• 구분 가능성 게임 프레임워크 하에서 GANs의 수렴 성질을 검토하기.
• GANs가 이론적으로 일관되게 보이지만 실무에서 과소적합되는 이유를 규명하기.
• 구분 가능성 게임 기능이 적대적 훈련을 통해 MLE를 달성하는 데 사용될 수 있는지 평가하기.

제안 방법

• NCE와 GANs에서 사용하는 구분 가능성 게임의 가치 함수를 비교하며, $ V(p_c, p_g) = \mathbb{E}_{\mathbf{x} \sim p_d} \log p_c(y=1|\mathbf{x}) + \mathbb{E}_{\mathbf{x} \sim p_g} \log p_c(y=0|\mathbf{x}) $ 로 정의한다.
• 고정된 노이즈 분포를 가진 NCE를 분석하고, 동적 생성자 버전의 NCE가 MLE와 동치임을 보여준다.
• GANs의 생성자 기대 기울기를 유도하고, MLE 기울기와 비교하여 근본적인 불일치를 보여준다.
• 논리적 시그모이드 함수를 사용하여 판별자 출력을 모델링하며 $ p_c(y=1|\mathbf{x}) = \sigma(a(\mathbf{x})) $ 로 정의하고, 생성자 비용 함수를 도출한다.
• MLE 기울기는 $ f(\mathbf{x}) = -\frac{p_d(\mathbf{x})}{p_g(\mathbf{x})} $ 가 필요로 하는 반면, GAN 비용은 $ f(\mathbf{x}) = -\zeta(a(\mathbf{x})) $ 를 사용하며, 여기서 $ \zeta $ 는 소프트플러스 함수이다.
• MLE 기울기 추정치의 높은 분산은 판별자가 확신이 없을 때 발생하며, 이는 추가 메커니즘이 없이 훈련을 불안정하게 만든다.

실험 결과

연구 질문

• RQ1 동적 생성자를 가진 NCE의 수정된 버전이 최대우도추정을 복원할 수 있는가?
• RQ2 GANs가 MLE 기울기와 동일한 기울기 업데이트를 생성할 수 있는 방법이 있는가?
• RQ3 이론적으로 일관되지만 실무에서 GANs가 자주 수렴하지 못하는 이유는 무엇인가?
• RQ4 구분 가능성 게임과 최대우도추정 간의 관계는 무엇인가?
• RQ5 비볼록 설정에서 수렴을 보장하기 위해 구분 가능성 게임을 수정할 수 있는가?

주요 결과

• 동적 생성자를 가진 NCE의 변형은 수학적으로 최대우도추정과 동치이다.
• 어떤 판별자 네트워크 선택에도 불구하고 GAN 생성자의 기대 기울기는 MLE 기울기와 일치할 수 없다.
• GANs의 구분 가능성 게임 비용 함수는 MLE와 다른 기울기를 유도하며, 특히 MLE가 요구하는 지수 함수 대신 소프트플러스 함수를 사용한다.
• 구분 가능성 게임 프레임워크 하에서 MLE 기울기 추정치의 높은 분산은 판별자가 매우 확신할 때에만 중요한 기울기를 제공하기 때문에 발생하며, 이는 훈련된 바 없는 생성자에서는 드문 일이다.
• 비볼록 게임에서 기울기 기반 학습의 수렴하지 않는 것은 GANs에서 관찰되는 과소적합 현상에 대한 타당한 설명이지만, 현재 이론적 프레임워크에서는 수렴 보장이 없다.
• 논문은 향후 연구가 GAN 훈련에서 수렴을 보장하는 데 집중해야 하며, 균형 계산을 강제하기 위해 훈련 알고리즘을 수정하는 것이 가능할 수 있음을 제안한다.