[논문 리뷰] DigGAN: Discriminator gradIent Gap Regularization for GAN Training with Limited Data

Tiantian Fang, Ruoyu Sun외 1명|arXiv (Cornell University)|2022. 11. 27.

Generative Adversarial Networks and Image Synthesis인용 수 12

한 줄 요약

DigGAN은 생성적 적대적 네트워크(GAN)에 대해 실수 이미지와 생성 이미지 간의 판별기 출력에 대한 기울기 노름 차이를 최소화하는 기울기 기반 정규화를 도입한다. 이는 판별기 기울기 갭(DIG)을 줄여, 제한된 데이터 하에서 훈련을 안정화시키며, FID 점수를 크게 향상시킨다. 예를 들어, CIFAR-100에서 10% 데이터로 BigGAN의 FID 점수를 73.01에서 27.61로 개선한다.

ABSTRACT

Generative adversarial nets (GANs) have been remarkably successful at learning to sample from distributions specified by a given dataset, particularly if the given dataset is reasonably large compared to its dimensionality. However, given limited data, classical GANs have struggled, and strategies like output-regularization, data-augmentation, use of pre-trained models and pruning have been shown to lead to improvements. Notably, the applicability of these strategies is 1) often constrained to particular settings, e.g., availability of a pretrained GAN; or 2) increases training time, e.g., when using pruning. In contrast, we propose a Discriminator gradIent Gap regularized GAN (DigGAN) formulation which can be added to any existing GAN. DigGAN augments existing GANs by encouraging to narrow the gap between the norm of the gradient of a discriminator's prediction w.r.t.\ real images and w.r.t.\ the generated samples. We observe this formulation to avoid bad attractors within the GAN loss landscape, and we find DigGAN to significantly improve the results of GAN training when limited data is available. Code is available at \url{https://github.com/AilsaF/DigGAN}.

연구 동기 및 목표

• 제한된 데이터로 훈련할 때 GAN의 불안정성과 성능 저하 문제를 해결하기 위해.
• 훈련 중 GAN 손실 곡면의 악성 흡인점(misleading attractors)의 영향을 줄이기 위해.
• 사전 훈련이나 데이터 증강 없이도 기존 GAN에 쉽게 통합할 수 있는 경량의 플러그인 정규화를 개발하기 위해.
• 데이터 부족 조건에서도 생성 샘플의 일반화 능력과 다양성을 향상시키기 위해.
• 이론적으로 탄탄하면서도 실용적으로 효과적인 정규화를 제공하며, GAN 아키텍처에 종속되지 않는 정규화를 개발하기 위해.

제안 방법

• 실수 이미지와 생성 이미지에 대해 판별기의 기울기 L2 노름 간 절대 차이를 최소화하는 새로운 정규화 항을 제안한다.
• 판별기 기울기 갭(DIG)을 |‖∇ₓD(x_real)‖₂ − ‖∇ₓD(x_fake)‖₂|로 정의하며, 이는 훈련 중 최소화된다.
• 하이퍼파ram터 λ로 제어되는 강도를 가지며, GAN 손실 함수에 페널티 항으로 적용된다.
• 기울기 계산을 위해 실수 및 생성 이미지의 무작위 조합을 사용하며, 탈락 실험을 제외한 측면에서는 클래스 기반 또는 노름 기반 조합을 피한다.
• 기본 아키텍처 변경 없이 BigGAN, SNGAN, StyleGAN2와 같은 기존 GAN 프레임워크에 원활하게 통합된다.
• 훈련 동역학을 안정화하고 일반화를 향상시키기 위해 지수이동평균(EMA)을 사용한다.

실험 결과

연구 질문

• RQ1 실수 데이터와 생성 데이터 간 기울기 노름 갭을 줄이면 제한된 데이터 하에서 GAN 훈련 안정성이 향상되는가?
• RQ2 제안된 DIG 정규화가 GAN 최적화 곡면의 악성 흡인점 영향을 완화하는가?
• RQ3 낮은 데이터 환경에서 R1, GP-1, DRAGAN과 같은 기존 기울기 기반 정규화와 비교해 DigGAN은 어떻게 성능을 내는가?
• RQ4 페어링 전략(무작위 대비 클래스 기반 대비 노름 기반)이 DigGAN의 성능에 상당한 영향을 미치는가?
• RQ5 데이터 부족 조건에서 다양한 아키텍처와 데이터셋에 대해 DigGAN은 일관되게 FID 점수를 향상시킬 수 있는가?

주요 결과

• 10% 데이터로 CIFAR-100을 훈련할 경우, DigGAN은 FID를 기준선 73.01에서 27.61로 줄여 62.3% 향상시켰다.
• 10% CIFAR-10 데이터로 훈련할 경우, DigGAN은 FID를 기준선 23.75에서 10.12로 줄여 58.6% 감소시켰다.
• 모든 설정에서 R1, GP-1, DRAGAN보다 FID 성능이 뛰어나며, 특히 저데이터 조건에서 두각을 나타냈다.
• 탈락 실험 결과, 무작위 페어링이 가장 뛰어난 성능을 보였고, 기울기 노름 기반 페어링은 10% 데이터 조건에서 실패했다.
• 정규화 방법은 아키텍처에 관계없이 강건하다: 제한된 데이터로 BigGAN과 StyleGAN2 양쪽 모두에서 FID 점수를 향상시켰다.
• 기울기 노름 갭(DIG)은 데이터 양과 반비례하며, DigGAN은 이를 효과적으로 줄여 훈련 안정성 향상과 관련이 있다.