[논문 리뷰] Metropolis-Hastings Generative Adversarial Networks

Ryan Turner, Jane Hung외 3명|arXiv (Cornell University)|2018. 11. 28.

Generative Adversarial Networks and Image Synthesis참고 문헌 21인용 수 18

한 줄 요약

이 논문은 사전에 훈련된 생성자 주변에 메트로폴리스-해스팅스 기반 마르코프 체인 몬테카를로(MCMC) 래퍼를 사용하는 메트로폴리스-해스팅스 생성적 적대적 네트워크(MH-GAN)를 제안한다. 훈련된 판별자(D)를 밀도 비율 추정기로 사용하여 생성자로부터 유사한 샘플에 대해 메트로폴리스-해스팅스 알고리즘을 적용함으로써, 생성자가 완벽하지 않더라도 진정한 데이터 분포에서 샘플을 생성할 수 있다. 이로써 CIFAR-10과 CelebA에서 최신의 Inception 스코어를 달성하고 샘플 품질을 향상시킨다.

ABSTRACT

We introduce the Metropolis-Hastings generative adversarial network (MH-GAN), which combines aspects of Markov chain Monte Carlo and GANs. The MH-GAN draws samples from the distribution implicitly defined by a GAN's discriminator-generator pair, as opposed to standard GANs which draw samples from the distribution defined only by the generator. It uses the discriminator from GAN training to build a wrapper around the generator for improved sampling. With a perfect discriminator, this wrapped generator samples from the true distribution on the data exactly even when the generator is imperfect. We demonstrate the benefits of the improved generator on multiple benchmark datasets, including CIFAR-10 and CelebA, using the DCGAN, WGAN, and progressive GAN.

연구 동기 및 목표

• 표준 GAN이 훈련 후에도 편향되거나 품질이 낮은 샘플을 생성할 수 있는 점을 해결하기 위해 생성자에 의존하는 데에만 의존하는 한계를 해결한다.
• 특히 고차원 공간에서 생성자의 샘플링 능력보다 판별자가 밀도 비율을 더 정확하게 추정할 수 있음을 활용한다.
• 생성자 분포 오차를 수정하기 위해 MCMC를 사용하는 래핑된 생성자 $G'$를 구성함으로써 샘플 품질을 향상시킨다.
• 완벽한 판별자가 있을 경우, 생성자가 완벽하지 않더라도 진정한 데이터 분포 $p_{\text{data}}$에서 정확한 샘플을 생성할 수 있음을 보여준다.
• GAN 판별자의 낮은 校정성(교정성)이 거부 샘플링 및 MCMC 기반 방법의 신뢰성에 영향을 주므로, 성능 향상을 위한 校정 기법을 도입한다.

제안 방법

• 사전에 훈련된 GAN의 판별자 $D$를 사용하여 밀도 비율 $\frac{p_D(\mathbf{x})}{p_G(\mathbf{x})} = \frac{D(\mathbf{x})}{1 - D(\mathbf{x})}$를 계산하며, 이는 메트로폴리스-해스팅스 수용 비율에 충분하다.
• 원래 생성자 $G$에서 온 제안을 사용하는 독립적 MCMC 샘플러를 갖는 래핑된 생성자 $G'$를 구성한다.
• 판별자의 출력을 수용 확률로 사용하여 메트로폴리스-해스팅스 알고리즘을 적용함으로써 정적 분포가 $p_D$와 일치하도록 보장하며, 최적 상태에서는 $p_D = p_{\text{data}}$가 된다.
• 등치 회귀 및 온도 스케일링과 같은 校정 기법을 도입하여 판별자 점수의 신뢰성을 향상시켜 수용 결정에 활용한다.
• 실제 데이터와의 분포 일치를 향상시키기 위해 다중 MCMC 반복(예: $k=640$ 또는 $k=800$)을 사용하여 샘플링 과정을 정밀화한다.
• DCGAN, WGAN, 프로그레시브 GAN 등 다양한 GAN 아키텍처에 MH-GAN 프레임워크를 적용하여 광범위한 적용 가능성을 입증한다.

실험 결과

연구 질문

• RQ1 판별자의 출력을 사용하여 MCMC 샘플링을 통해 생성자 샘플의 분포 편향을 수정할 수 있는가?
• RQ2 판별자가 최적일 경우, 생성자가 완벽하지 않더라도 MH-GAN 프레임워크가 진정한 데이터 분포에서 정확한 샘플을 생성할 수 있는가?
• RQ3 샘플 품질과 수용률 측면에서 MH-GAN은 판별자 거부 샘플링(DRS)과 같은 대안적 샘플링 방법보다 어떻게 비교되는가?
• RQ4 판별자의 校정 오차가 MCMC 기반 샘플링에 어떤 영향을 미치며, 校정 기법이 MH-GAN 성능 향상에 기여하는가?
• RQ5 프로그레시브 GAN과 같은 고급 GAN 아키텍처에 MH-GAN을 효과적으로 적용하여 고해상도 이미지 생성의 샘플 품질을 향상시킬 수 있는가?

주요 결과

• MH-GAN은 CIFAR-10과 CelebA에서 테스트된 모든 모델(DCGAN, WGAN, 프로그레시브 GAN)에서 Inception 스코어를 크게 향상시켰으며, 모든 향상은 대응 t-검정을 통해 통계적으로 유의미하다($p < 0.05$).
• 완벽한 판별자를 가질 경우, 생성자가 완벽하지 않더라도 MH-GAN은 진정한 데이터 분포 $p_{\text{data}}$에서 정확한 샘플을 생성할 수 있으며, 이는 이전 방법이 달성하지 못한 이론적 보장을 충족한다.
• 판별자 校정(특히 등치 회귀를 통한)은 성능 향상에 상당한 기여를 하였으며, $Z$-통계량이 원시 상태($-77.57$에서 $48.98$)에서 校정 후($-2.91$에서 $3.60$)로 변화하여 신뢰성이 향상됨을 나타낸다.
• MH-GAN은 DRS보다 더 높은 수용률과 더 나은 샘플 품질을 달성하였으며, 인간 평가 결과 MH-GAN은 CelebA-HQ에서 PGAN이나 DRS보다 훨씬 적은 수의 왜곡되거나 결함이 있는 이미지를 선택하였다.
• 프로그레시브 GAN에서 MH-GAN은 16개의 샘플 배치에서 왜곡된 이미지 수를 0으로 줄였고, DRS는 여전히 7개의 결함이 있는 샘플을 생성하였다. 일측 검정에서 MH-GAN은 $p=0.013$에서 PGAN를 상회하였다.
• MH-GAN 샘플의 판별자 점수 분포는 실재 이미지와 매우 유사하여, 생성자의 모드 붕괴 및 분포 편향을 효과적으로 수정함을 시사한다.