[논문 리뷰] The GAN is dead; long live the GAN! A Modern GAN Baseline

Yi‐Wen Huang, Aaron Gokaslan외 2명|arXiv (Cornell University)|2025. 01. 09.

Advanced Neural Network Applications인용 수 3

한 줄 요약

이 논문은 0-GP 패널티가 포함된 잘-거동하는 정규화 RpGAN 손실을 도입하여, 현대적이고 미니멀한 백본 GAN(R3GAN)을 가능하게 하며 FFHQ, ImageNet, CIFAR, Stacked MNIST에서 경험적 트릭 없이도 강한 FID 점수를 달성합니다.

ABSTRACT

There is a widely-spread claim that GANs are difficult to train, and GAN architectures in the literature are littered with empirical tricks. We provide evidence against this claim and build a modern GAN baseline in a more principled manner. First, we derive a well-behaved regularized relativistic GAN loss that addresses issues of mode dropping and non-convergence that were previously tackled via a bag of ad-hoc tricks. We analyze our loss mathematically and prove that it admits local convergence guarantees, unlike most existing relativistic losses. Second, our new loss allows us to discard all ad-hoc tricks and replace outdated backbones used in common GANs with modern architectures. Using StyleGAN2 as an example, we present a roadmap of simplification and modernization that results in a new minimalist baseline -- R3GAN. Despite being simple, our approach surpasses StyleGAN2 on FFHQ, ImageNet, CIFAR, and Stacked MNIST datasets, and compares favorably against state-of-the-art GANs and diffusion models.

연구 동기 및 목표

• GAN을 경험적 트릭이 아니라 원칙 있는 손실로 안정적으로 훈련할 수 있음을 주장한다.
• RpGAN을 0-centered gradient penalties로 정규화하여 잘-거동하는 손실을 개발한다.
• StyleGAN 트릭을 제거하면서 현대적인 ConvNet/Transformer에서 영감을 받은 백본으로 업그레이드한다.
• 미니멀리스트 R3GAN 기준선이 여러 데이터셋에서 우수하거나 경쟁력 있는 FID를 달성함을 보여준다.

제안 방법

• RpGAN을 형식화하고 이를 0-centered gradient penalties R1과 R2로 보강하여 국소 수렴을 보장한다.
• RpGAN이 R1/R2와 함께 합리적인 가정 하에 국소적으로 수렴하는 학습을 보유함을 증명한다.
• 구식 백본을 현대적인 ResNet/ConvNeXt 영감을 받은 구조로 대체하고 StyleGAN 구성 요소를 제거한다.
• FFHQ-256, CIFAR-10, ImageNet 작업에서 StyleGAN2 기준선에서 현대화된 R3GAN으로 구성을 체계적으로 평가한다.
• StackedMNIST에서 p_theta와 p_D 간의 모드 회복 및 KL 발산을 측정하는 실험을 수행한다.

실험 결과

연구 질문

• RQ1 0-GP로 정규화된 RpGAN 손실이 경험적 트릭 없이도 안정적인 수렴과 좋은 샘플 다변성을 제공할 수 있는가?
• RQ2 표준 벤치마크에서 FID를 보존하거나 개선하면서 GAN 백본을 얼마나 더 단순화할 수 있는가?
• RQ3 RpGAN+R1+R2와 함께 현대 백본 재설계(ConvNeXt/ResNet 영감)가 GAN 성능에 미치는 영향은 어떠한가?
• RQ4 StackedMNIST와 같은 도전적인 데이터셋에서 단순화된 기준선 R3GAN의 모드 커버리지 및 재현율은 어떠한가?
• RQ5 R3GAN은 FFHQ와 ImageNet에서 FID, NFE, 샘플 품질 측면에서 확산 모델과 어떻게 비교되는가?

주요 결과

구성(Configuration)	FID FFHQ-256
A (StyleGAN2)	7.516
B (Stripped StyleGAN2)	12.46
C (Well-behaved Loss)	11.65
D (ConvNeXt-ify pt. 1)	9.95
E (ConvNeXt-ify pt. 2)	7.045

• RpGAN은 R1과 R2 모두를 사용할 때 안정적인 학습을 보이며 RpGAN만 사용하거나 R1만 사용하는 경우의 발산적 동작을 이긴다.
• 잘-거동하는 손실은 현대적인 백본을 가능하게 하여 모델이 FFHQ-256에서 StyleGAN2를 능가하고 여러 데이터셋에서 일부 확산 모델과 경쟁하거나 우수한 성능을 보인다.
• 현대화된 ResNet/ConvNeXt 스타일의 백본은 적절한 초기화 및 재샘플링과 함께 StyleGAN2 기준선에 비해 FID를 향상시켰다(FFHQ-256: 최종 E 구성으로 9.95에서 7.05로).
• StackedMNIST에서 Config E 모델은 1000 모드 전체 회복과 낮은 D_KL을 달성하여 많은 기존 GAN보다 우수하다.
• CIFAR-10 및 ImageNet 변형에서 Config E는 많은 확산 모델보다 파라미터 수가 현저히 적은 상태에서 경쟁력 있거나 우수한 FID를 달성하며 단일 샷 생성을 유지한다.