[논문 리뷰] Likelihood Estimation for Generative Adversarial Networks

Hamid Eghbal-zadeh, Gerhard Widmer|arXiv (Cornell University)|2017. 07. 24.

Generative Adversarial Networks and Image Synthesis참고 문헌 9인용 수 10

한 줄 요약

이 논문은 어떤 GAN의 학습을 수정하지 않고도 생성된 이미지의 평가를 위한 일반적인 가능도 추정 방법인 LeGAN을 제안한다. 실사 이미지의 판별기 임베딩을 정규분포로 모델링하고, 생성된 이미지의 가능도 점수를 계산한다. CIFAR-10에서의 실험 결과, 이 점수들이 바닐라 GAN 및 LSGAN 환경에서 인간의 시각적 품질 인식과 강한 상관관계를 보였다.

ABSTRACT

We present a simple method for assessing the quality of generated images in Generative Adversarial Networks (GANs). The method can be applied in any kind of GAN without interfering with the learning procedure or affecting the learning objective. The central idea is to define a likelihood function that correlates with the quality of the generated images. In particular, we derive a Gaussian likelihood function from the distribution of the embeddings (hidden activations) of the real images in the discriminator, and based on this, define two simple measures of how likely it is that the embeddings of generated images are from the distribution of the embeddings of the real images. This yields a simple measure of fitness for generated images, for all varieties of GANs. Empirical results on CIFAR-10 demonstrate a strong correlation between the proposed measures and the perceived quality of the generated images.

연구 동기 및 목표

• GAN에서 생성된 이미지의 품질을 평가하기 위한 일반적이고 비침습적인 메트릭이 부족한 문제를 해결하기 위해.
• 모든 GAN 버전의 학습 목표나 아키텍처에 영향을 주지 않는 방법을 개발하기 위해.
• 사전 학습된 모델이나 대규모 샘플 세트가 필요 없이 인간이 인식하는 이미지 품질과 상관관계가 있는 가능도 기반 측정법을 수립하기 위해.
• 판별기 임베딩에서 유도된 가능도 점수가 학습 중 생성 이미지 품질 향상 여정을 효과적으로 추적할 수 있는지 보여주기 위해.

제안 방법

• 실사 이미지의 판별기의 최전단층(마지막 시그모이드 제외)에서 특징 임베딩을 추출하며, 이를 $\hat{D}(x)$로 표기한다.
• 실사 이미지의 임베딩에 정규분포를 피팅하여 평균 $\mu_r$ 및 분산 $\sigma^2_r$를 추정한다.
• 학습된 실사 이미지 임베딩 분포를 바탕으로 정규분포 가능도 함수 $\ell_{\mathcal{G}}(a)$를 정의한다.
• 두 가지 가능도 기반 측정법을 계산한다: $\ell_{\text{diff}} = \ell_{\mathcal{G}}(a_r) - \ell_{\mathcal{G}}(a_f)$ 와 $\ell_{\text{ratio}} = \ell_{\mathcal{G}}(a_r) / \ell_{\mathcal{G}}(a_f)$, 여기서 $a_r$ 과 $a_f$ 는 실사 및 가짜 이미지의 임베딩이다.
• 안정적인 임베딩 공간 기하학을 확보하기 위해 판별기의 1-Lipschitz 연속성을 가중치 클리핑과 L2 가중치 정규화를 통해 강제한다.
• GAN의 학습 후에 재학습이나 GAN 수정 없이도 가능도 측정법을 적용하여 생성된 이미지를 평가한다.

실험 결과

연구 질문

• RQ1 판별기 임베딩에서 유도된 가능도 기반 메트릭이 GAN에서 생성된 이미지의 품질을 신뢰성 있게 평가할 수 있는가?
• RQ2 제안된 LeGAN 방법이 다양한 GAN 아키텍처에서 인간의 이미지 품질 인식과 상관관계가 있는가?
• RQ3 이 가능도 측정법이 학습 목표나 사전 학습된 모델 없이도 어떤 GAN에도 일반적으로 적용 가능한가?
• RQ4 학습 과정에서 생성 이미지 임베딩의 가능도는 어떻게 변화하며, 이미지 품질 향상 여정을 따라가나?
• RQ5 이 가능도 측정법은 기존의 WGAN에서의 워샤프스키 거리와 유사하게 학습 진행 상황을 포괄하는가?

주요 결과

• LeGAN의 가능도 측정법인 $\ell_{\text{diff}}$ 와 $\ell_{\text{ratio}}$ 는 CIFAR-10에서 학습 중 시각적 품질과 강한 상관관계를 보였다.
• 학습이 진행됨에 따라 $\ell_{\text{diff}}$ 는 감소하고 $\ell_{\text{ratio}}$ 는 증가하여, 생성된 이미지의 임베딩이 가능도 공간에서 실사 이미지의 임베딩과 유사해지고 있음을 시사한다.
• 이 방법은 바닐라 GAN과 LSGAN 모두에서 이미지 품질 향상과 잘 상관되며, 아키텍처 간 일반화 능력을 입증했다.
• 가중치 클리핑과 L2 정규화는 1-Lipschitz 연속성을 효과적으로 강제하여 임베딩 공간을 안정화시키고 신뢰할 수 있는 가능도 추정을 가능하게 했다.
• 제안된 가능도 측정법은 WGAN에서 워샤프스키 거리와 유사한 상관관계를 보였으며, 기존의 GAN 평가 철학과 호환됨을 시사한다.
• LeGAN은 사전 학습, 대규모 샘플 세트, 아키텍처 수정 없이도 작동하므로 경량이며 즉시 사용 가능한 평가 도구이다.