[논문 리뷰] Training Generative Adversarial Networks with Limited Data

Tero Karras, Miika Aittala외 4명|arXiv (Cornell University)|2020. 06. 11.

Generative Adversarial Networks and Image Synthesis참고 문헌 36인용 수 932

한 줄 요약

적응형 식별자 증강(ADA)을 도입하여 작은 데이터셋에서도 GAN 학습을 안정화시키되 손실이나 아키텍처를 변경하지 않고, 수천 장의 이미지와 새로운 CIFAR-10 벤치마크에서 고품질 결과를 달성합니다.

ABSTRACT

Training generative adversarial networks (GAN) using too little data typically leads to discriminator overfitting, causing training to diverge. We propose an adaptive discriminator augmentation mechanism that significantly stabilizes training in limited data regimes. The approach does not require changes to loss functions or network architectures, and is applicable both when training from scratch and when fine-tuning an existing GAN on another dataset. We demonstrate, on several datasets, that good results are now possible using only a few thousand training images, often matching StyleGAN2 results with an order of magnitude fewer images. We expect this to open up new application domains for GANs. We also find that the widely used CIFAR-10 is, in fact, a limited data benchmark, and improve the record FID from 5.59 to 2.42.

연구 동기 및 목표

• 데이터가 부족할 때 GAN의 과적합 문제를 제기하고 이를 학습 안정성에 미치는 영향으로 정량화한다.
• 생성된 이미지로 누출되지 않는 증강 기반 해법으로 판별기 과적합을 방지한다.
• 훈련 중 증강 강도(p)를 제어하는 적응 메커니즘을 개발한다.
• CIFAR-10을 제한된 데이터 벤치마크로 포함하여 다수의 데이터셋 및 전이 학습 시나리오에서 효과를 입증한다.
• 소형 데이터 GAN에 대한 실용적 가이드라인을 제시하고 대체 방법들과의 비교를 수행한다.

제안 방법

• 판별기에 입력되는 모든 이미지에 다양한 구분가능한 증강을 적용하는 확률적 판별기 증강을 제안하고, 이는 생성기 학습 중에도 적용된다.
• 생성된 이미지로의 누출이 없도록 비누출(non-leaking) 증강 이론을 개발하고, 확률적 적용은 p에 의해 제어된다.
• 고정된 순서로 확률 p로 적용되는 6개 범주에 걸친 18가지 변환으로 구성된 증강 파이프라인을 설계하고, 역전파를 위한 미분 가능성을 보장한다.
• 훈련/검증/생성 데이터에 대한 판별기의 출력을 사용하여 과적합 휴리스틱에 기반해 증강 강도 p를 조정하는 적응형 판별기 증강(ADA)을 도입한다.
• 두 가지 과적합 휴리스틱 r_v와 r_t를 사용하여 p를 안내하고, 궁극적으로 대상 값이 0.6인 r_t를 채택하여 적응성을 이끈다.
• 처음부터 학습하는 GAN 구성과 전이 학습 GAN 구성에서 ADA를 평가하고, 대안인 bCR 및 다양한 아키텍처/판별기 조정과 비교한다.

실험 결과

연구 질문

• RQ1 제한된 데이터로 학습된 GAN에서 판별기 과적합을 손실 함수나 네트워크 아키텍처를 변경하지 않고 완화할 수 있는가?
• RQ2 비누출적이고 확률적(discriminator) 증강이 서로 다른 데이터 크기와 도메인에서 GAN 학습을 안정화하는가?
• RQ3 생성기 품질을 유지하면서 과적합을 방지하기 위해 훈련 중 증강 강도를 어떻게 적응적으로 조정해야 하는가?
• RQ4 ADA가 소형 데이터 및 전이 학습 시나리오에서 성능을 향상시키는가, 그리고 bCR과 같은 관련 방법과 어떻게 비교되는가?
• RQ5 CIFAR-10이 정말 제한된 데이터 벤치마크인지, 그리고 ADA가 지표를 크게 개선할 수 있는가?

주요 결과

• ADA는 제한된 데이터에서 GAN 학습을 상당히 안정화하여 판별기 과적합과 발산을 방지한다.
• 생성된 이미지로 누출되지 않는 다양한 비누출(non-leaking)이고 미분 가능한 증강을 모든 판별 입력(및 생성기 입력)에 적용할 수 있다.
• 과적합 휴리스틱을 통한 증강 강도(p)의 적응 제어가 데이터세트 크기에 관계없이 고정 증강보다 더 나은 FID/KID 점수를 산출한다.
• ADA는 처음부터 학습하고 전이 학습을 통해 강력한 성과를 달성하며, 종종 StyleGAN2의 품질에 견주거나 이를 능가하고 이미지 수를 한 자릿수 배나 더 적은 수로 달성한다.
• CIFAR-10에서 ADA는 FID를 5.59에서 2.42로, 클래스-조건 설정에서 IS를 향상시키며 CIFAR-10이 제한된 데이터 벤치마크임을 시사하고 ADA가 상당한 이득을 제공한다.
• ADA는 에너지 효율적이며 학습 비용을 크게 증가시키지 않는다.