[논문 리뷰] Discriminator Contrastive Divergence: Semi-Amortized Generative Modeling by Exploring Energy of the Discriminator

Yuxuan Song, Qiwei Ye외 2명|arXiv (Cornell University)|2020. 04. 05.

Generative Adversarial Networks and Image Synthesis참고 문헌 40인용 수 10

한 줄 요약

이 논문은 워셔스타인 GAN의 판별기(discriminator)를 에너지 함수로 활용하여 랭글레인 역동성(Langevin dynamics)을 통해 샘플 품질을 향상시키는, 반-암표화된 생성 모델링 방법인 판별기 대비 분산(Discriminator Contrastive Divergence, DCD)을 제안한다. 생성 과정을 생성기의 출력으로 초기화하고, 기울기 기반 MCMC 단계를 통해 샘플을 정밀하게 보정함으로써, CIFAR-10에서 최고 수준의 인ception 스코어(9.11)와 FID(16.24)를 달성하여 기준 GAN 및 기존 후처리 방법들을 크게 능가한다.

ABSTRACT

Generative Adversarial Networks (GANs) have shown great promise in modeling high dimensional data. The learning objective of GANs usually minimizes some measure discrepancy, extit{e.g.}, $f$-divergence~($f$-GANs) or Integral Probability Metric~(Wasserstein GANs). With $f$-divergence as the objective function, the discriminator essentially estimates the density ratio, and the estimated ratio proves useful in further improving the sample quality of the generator. However, how to leverage the information contained in the discriminator of Wasserstein GANs (WGAN) is less explored. In this paper, we introduce the Discriminator Contrastive Divergence, which is well motivated by the property of WGAN's discriminator and the relationship between WGAN and energy-based model. Compared to standard GANs, where the generator is directly utilized to obtain new samples, our method proposes a semi-amortized generation procedure where the samples are produced with the generator's output as an initial state. Then several steps of Langevin dynamics are conducted using the gradient of the discriminator. We demonstrate the benefits of significant improved generation on both synthetic data and several real-world image generation benchmarks.

연구 동기 및 목표

• 워셔스타인 GAN에서 판별기 정보가 부족하게 활용되고 있는 문제를 해결하고자 하며, 이는 경험적으로 우수한 성능를 보이지만 그 비평가(critic)를 활용한 개선 방법이 부족하기 때문이다.
• 워셔스타인 GAN의 판별기를 일반화 가능한 방식으로 에너지 함수로 전환하여 샘플 품질을 향상시키는 방법을 개발하고자 한다.
• 생성기 초기화와 랭글레인 역동성을 통한 반복적 보정을 조합함으로써 속도와 품질의 균형을 이룬 반-암표화된 생성 프레임워크를 제안하고자 한다.
• 합성 데이터 및 실제 벤치마크에서의 경험적 검증을 통해 인ception 스코어와 FID에서의 일관된 향상을 입증하고자 한다.

제안 방법

• 워셔스타인 GAN의 판별기를 에너지 함수로 간주함으로써 기울기 기반 MCMC 샘플링을 가능하게 한다.
• 샘플은 생성기의 출력으로 초기화되고, 판별기의 기울기를 사용하여 랭글레인 역동성의 다중 단계를 거쳐 정밀하게 보정된다.
• 이 방법은 반-암표화된 방식으로 작동하며, 생성기가 초깃사의 제안을 제공하고 판별기가 그 기울기를 통해 보정을 이끈다.
• 이 접근법은 픽셀 공간과 잠재 공간 모두에 적용되며, 실험적으로 후자의 성능 향상이 뚜렷하다.
• 학습 과정은 워셔스타인 GAN의 1-Lipschitz 제약 조건을 유지하도록 조정되어, 보정 과정 중 안정성을 확보한다.
• 표준 평가 지표인 인ception 스코어와 프레셰 인ception 디스턴스(Fréchet Inception Distance, FID)를 사용하여 평가된다.

실험 결과

연구 질문

• RQ1 워셔스타인 GAN의 판별기를 샘플 품질 향상에 의미 있게 재활용하여 에너지 함수로 활용할 수 있는가?
• RQ2 랭글레인 역동성을 활용한 반-암표화된 생성 프레임워크는 직접 생성기 샘플링에 비해 품질과 다양성 측면에서 어떻게 비교되는가?
• RQ3 MCMC를 통해 판별기의 기울기를 활용할 경우, 표준 벤치마크에서 FID와 인ception 스코어에 측정 가능한 향상이 이루어지는가?
• RQ4 제안된 방법은 CIFAR-10 및 STL-10와 같은 다양한 데이터셋과 아키텍처에 일반화 가능한가?

주요 결과

• CIFAR-10에서 DCD는 잠재 공간에서 적용했을 때 새로운 최고 수준의 인ception 스코어 9.11과 FID 16.24를 기록하였으며, 기준 SNGAN 및 기타 후처리 방법들보다 뚜렷하게 뛰어난 성능을 보였다.
• 조건부 생성에서 DCD는 CIFAR-10에서 FID 15.05를 기록하여 BigGAN과 같은 대규모 모델과 유사한 성능을 달성하였다.
• STL-10에서 DCD는 인ception 스코어 9.33과 FID 17.68을 기록하여 CIFAR-10 외의 범용성도 입증하였다.
• 시각화 결과는 랭글레인 역동성 과정이 직접 생성기 샘플링보다 더 현실적이고 다양한 샘플을 생성함을 확인하였다.
• 학습 중 악성 스타일의 아티팩트 발생 빈도가 감소하여, 안정성 향상 잠재력이 있음을 시사하였다.
• 반-암표화 설계 덕분에 샘플링 속도와 생성 품질 사이의 조정 가능한 트레이드오프가 가능하며, 필요에 따라 품질을 우선시할 수 있다.