[논문 리뷰] Probabilistic Generative Adversarial Networks

Hamid Eghbal-zadeh, Gerhard Widmer|arXiv (Cornell University)|2017. 08. 06.

Generative Adversarial Networks and Image Synthesis참고 문헌 4인용 수 5

한 줄 요약

이 논문은 확률적 생성 대비 네트워크(PGAN)를 소개한다. PGAN은 생성 대비 네트워크(GAN)의 변종으로, 실수 데이터 분포를 모델링하기 위해 가우시안 혼합 모델(GMM)을 판별자에 통합하여 가능도 기반 학습을 가능하게 한다. 기존의 이진 분류 손실 대신 GMM 가능도를 최적화하여 생성자와 판별자의 학습을 수행함으로써, PGAN은 향상된 학습 안정성, 이미지 품질과 관련된 의미 있는 가능도 점수, 모드 붕괴 및 기울기 포화에 대한 저항성을 확보한다.

ABSTRACT

We introduce the Probabilistic Generative Adversarial Network (PGAN), a new GAN variant based on a new kind of objective function. The central idea is to integrate a probabilistic model (a Gaussian Mixture Model, in our case) into the GAN framework which supports a new kind of loss function (based on likelihood rather than classification loss), and at the same time gives a meaningful measure of the quality of the outputs generated by the network. Experiments with MNIST show that the model learns to generate realistic images, and at the same time computes likelihoods that are correlated with the quality of the generated images. We show that PGAN is better able to cope with instability problems that are usually observed in the GAN training procedure. We investigate this from three aspects: the probability landscape of the discriminator, gradients of the generator, and the perfect discriminator problem.

연구 동기 및 목표

• 현재 주관적인 시각적 검토에 의존하고 있는 GAN 출력 품질 평가를 위한 신뢰할 수 있는 정량적 메트릭 부족 문제를 해결하기 위해.
• 특히 모드 붕괴, 기울기 소실, 완벽한 판별자 문제와 같은 문제를 포함한 GAN의 학습 불안정성 문제를 해결하기 위해.
• 생성된 이미지 품질과 상관관계가 있는 가우시안 가능도 기반의 확률적 손실 함수를 도입하여 안정적인 최적화를 지원하기 위해.
• 판별자의 목적을 가짜 이미지 분류에서 벗어나, GMM를 통한 실수 데이터 분포 모델링에 중점을 두어 학습의 강건성을 향상시키기 위해.
• 생성자가 멈출 경우 기울기를 줄여 포화를 방지하고 복구를 가능하게 하는 기울기 제어 메커니즘을 제공하기 위해.

제안 방법

• 실수 데이터의 분포를 블로킹 임베딩 공간에서 모델링하기 위해 가우시안 혼합 모델(GMM)을 판별자의 구성 요소로 통합한다.
• 기존의 이진 교차 엔트로피나 최소 제곱 분류 손실 대신, GMM의 가능도 점수를 생성자와 판별자의 주요 손실 함수로 사용한다.
• 실수 데이터 임베딩에 피팅된 GMM에서의 가능도를 최대화하도록 생성자를 훈련시어, 현실적인 특징 공간 분포를 유도한다.
• 기울기 온/오프 메커니즘을 구현한다: 생성자가 향상되지 않을 경우, 판별자는 작은 분산을 가진 낮은 변동성의 기울기를 생성하여 생성자의 포화를 방지한다.
• Arjovsky와 Bottou(2017)의 도구를 활용하여 기울기 통계를 분석하고 학습 중 불안정성의 원인을 규명한다.
• LSGAN과 WGAN과의 비교를 위해 블로킹 레이어의 실수 및 가짜 임베딩 히스토GRAM 분석, 기울기 노름, 가능도 점수를 사용한다.

실험 결과

연구 질문

• RQ1 GMM에서 유도된 가능도 기반 손실 함수가 기존의 분류 기반 목적함수에 비해 GAN의 학습 안정성 향상에 기여하는가?
• RQ2 GMM 가능도 점수는 인간의 시각적 품질 평가와 상관관계가 있으며, GAN 평가를 위한 신뢰할 수 있는 정량적 메트릭이 될 수 있는가?
• RQ3 완벽한 판별자 문제(근접한 완벽한 분류로 인한 기울기 소실)는 PGAN이 어떻게 다루는가?
• RQ4 학습 도중 생성자가 일시적으로 멈출 경우, 생성자 및 판별자의 기울기는 어떻게 행동하는가?
• RQ5 한 네트워크가 지배하는 불안정한 학습 모드에서 PGAN은 회복할 수 있으며, 이는 기준 GAN과 비교해 어떻게 다를까?

주요 결과

• PGAN의 가능도 점수는 생성된 이미지의 품질과 강하게 상관관계가 있으며, GAN 성능 평가를 위한 신뢰할 수 있는 정량적 메트릭을 제공한다.
• 학습 도중 생성자가 멈추고 판별자가 지배하게 되면, 생성자의 기울기는 작고 분산이 낮아지며, 안정적인 온/오프 메커니즘이 작동하고 있음을 나타낸다.
• 생성자 업데이트가 재개되면 기울기 노름은 정상 수준으로 복귀하며, 이는 모델이 정지 상태에서 복구할 수 있음을 보여준다.
• GMM 기반 판별자는 가우시안 가능도의 연속적이고 겹치는 성질 덕분에 완벽한 판별자가 되기 어려워 기울기 소실 위험을 줄인다.
• 블로킹 활성화의 히스토GRAM을 분석한 결과, PGAN의 가짜 임베딩은 실수 데이터 분포의 꼬리 부분에 퍼져 있으며, 완벽한 분리가 어려운 반면, LSGAN은 날카운 피크로 인해 근접한 완벽한 분류가 가능하다.
• GMM의 밀도 추정 기능 덕분에 잠재 공간 내 다양한 데이터 모드를 커버하도록 유도하여, PGAN은 모드 누락에 대해 향상된 강건성을 보인다.