[논문 리뷰] The relativistic discriminator: a key element missing from standard GAN

Alexia Jolicoeur‐Martineau|arXiv (Cornell University)|2018. 07. 02.

Generative Adversarial Networks and Image Synthesis참고 문헌 18인용 수 580

한 줄 요약

논문은 실시간 구분자(RGANs와 RaGANs)를 도입하여 실제 데이터와 가짜 데이터를 함께 비교하고, GAN 변형과 손실 함수 전반에서 안정성과 샘플 품질을 개선하며 CIFAR-10 및 CAT 데이터셋에서 강력한 실험적 향상을 보인다.

ABSTRACT

In standard generative adversarial network (SGAN), the discriminator estimates the probability that the input data is real. The generator is trained to increase the probability that fake data is real. We argue that it should also simultaneously decrease the probability that real data is real because 1) this would account for a priori knowledge that half of the data in the mini-batch is fake, 2) this would be observed with divergence minimization, and 3) in optimal settings, SGAN would be equivalent to integral probability metric (IPM) GANs. We show that this property can be induced by using a relativistic discriminator which estimate the probability that the given real data is more realistic than a randomly sampled fake data. We also present a variant in which the discriminator estimate the probability that the given real data is more realistic than fake data, on average. We generalize both approaches to non-standard GAN loss functions and we refer to them respectively as Relativistic GANs (RGANs) and Relativistic average GANs (RaGANs). We show that IPM-based GANs are a subset of RGANs which use the identity function. Empirically, we observe that 1) RGANs and RaGANs are significantly more stable and generate higher quality data samples than their non-relativistic counterparts, 2) Standard RaGAN with gradient penalty generate data of better quality than WGAN-GP while only requiring a single discriminator update per generator update (reducing the time taken for reaching the state-of-the-art by 400%), and 3) RaGANs are able to generate plausible high resolutions images (256x256) from a very small sample (N=2011), while GAN and LSGAN cannot; these images are of significantly better quality than the ones generated by WGAN-GP and SGAN with spectral normalization.

연구 동기 및 목표

• 표준 GAN 구분자가 미니배치 구성(절반은 실제, 절반은 가짜)에 관련된 핵심 속성을 놓치는 이유를 동기 부여한다.
• 실제 데이터와 가짜 데이터를 공동으로 비교하는 상대적 구분자 개념을 제시하여 발산 최소화와 더 잘 정렬되도록 한다.
• 비표준 GAN 손실에 상대적 아이디어를 일반화하고 Relativistic GANs(RGANs) 및 Relativistic average GANs(RaGANs)를 정의한다.
• 데이터셋과 아키텍처 전반에 걸쳐 안정성 및 데이터 품질의 실험적 이점을 입증한다.

제안 방법

• 상대적 구분자 D를 정의하여 실제 샘플이 임의로 샘플된 가짜 샘플보다 더 현실적일 확률을 출력하게 한다(D( x_r, x_f ) = sigmoid(C(x_r) - C(x_f))).
• D와 G의 손실이 실제 크리틱 값과 가짜 크리틱 값의 차이에 의존하도록 Relativistic Standard GAN(RSGAN) 손실을 도출한다.
• 일반 손실 형태 F와 G를 갖는 Relativistic GAN(RGAN)으로 확장하고, 항등식을 사용할 때 IPM 기반 GAN이 부분집합임을 보이며 포화되지 않는 버전을 도입한다.
• Batch의 반대 유형의 평균과 비교하는 Relativistic average GANs(RaGANs)를 도입하여 RaSGAN, RaLSGAN, RaHingeGAN 및 이들의 GAN 변형을 얻는다.
• 비포화 RGAN과 RaGAN을 위한 학습 알고리즘(Algorithm 1 및 Algorithm 2)을 제공한다.
• 표준 아키텍처를 사용한 CIFAR-10과 CAT에서 Fréchet Inception Distance(FID)를 주요 지표로 평가한다.

실험 결과

연구 질문

• RQ1 실제 샘플과 가짜 샘플 사이의 상대적 비교를 도입하는 것이 GAN의 안정성 및 샘플 품질을 개선하는가?
• RQ2 RGAN과 RaGAN가 전통적인 SGAN, LSGAN, WGAN 변형과 비교하여 표준 및 비표준 손실에서 어떻게 수행되는가?
• RQ3 상대적 구분자가 더 높은 해상도나 더 작은 데이터 세트에서도 고품질 생성을 가능하게 하는가?
• RQ4 RaGAN의 상대적 평균화와 RGAN의 점별 상대적 구분 간의 훈련 역학에 어떤 차이가 있는가?
• RQ5 제한된 데이터, 높은 해상도와 같은 도전적 설정에서 상대적 접근법이 훈련 불안을 감소시키는가?

주요 결과

• RGANs 및 RaGANs는 일반적으로 비상대적 버전보다 더 나은 안정성 및 고품질 샘플을 제공합니다.
• 그라디언트 페널티(RSGAN-GP)를 갖춘 Relativistic SGAN(RSGAN)은 CIFAR-10에서 한 GAN 업데이트당 한 제너레이터 업데이트로 FID가 25.60에 도달하는 등 SOTA에 근접한 FID를 달성합니다.
• CIFAR-10에서 RaLSGAN 및 RaSGAN은 대부분의 안정적 설정에서 비대상적 버전보다 성능이 향상되며; RaSGAN-GP도 강력한 성능을 보입니다.
• 도전적인 CAT 데이터셋에서 RaGAN은 64x64, 128x128, 256x256 해상도에서 최소값 및 평균 FID를 더 낮추고 SD도 감소시키며; SGAN 및 LSGAN은 더 높은 해상도에서 수렴하지 못합니다.
• RaGAN은 매우 어려운 고해상도 CAT 생성 작업에서 스펙트럼 정규화 및 그라디언트 페널티 기반 기준선보다 종종 더 우수한 성능을 보입니다.