[논문 리뷰] Regularizing Generative Adversarial Networks under Limited Data

Hung-Yu Tseng, Lu Jiang외 3명|arXiv (Cornell University)|2021. 04. 07.

Generative Adversarial Networks and Image Synthesis참고 문헌 80인용 수 11

한 줄 요약

이 논문은 제한된 데이터에서 생성적 적대적 네트워크(GANs)를 훈련시키기 위한 새로운 정규화 방법을 제안한다. 이 방법은 진짜 이미지와 생성된 이미지의 예측 간 일관성을 ℓ₂ 노름을 통해 강제하여, 판별자 출력과 그 이동 평균 간의 일관성을 확보한다. 이는 훈련을 안정화시키고 일반화 성능을 햖थ하며, 데이터 증강과 조합했을 때 상태의 기준(FID) 점수를 달성한다(예: 10% ImageNet에서 21.70).

ABSTRACT

Recent years have witnessed the rapid progress of generative adversarial networks (GANs). However, the success of the GAN models hinges on a large amount of training data. This work proposes a regularization approach for training robust GAN models on limited data. We theoretically show a connection between the regularized loss and an f-divergence called LeCam-divergence, which we find is more robust under limited training data. Extensive experiments on several benchmark datasets demonstrate that the proposed regularization scheme 1) improves the generalization performance and stabilizes the learning dynamics of GAN models under limited training data, and 2) complements the recent data augmentation methods. These properties facilitate training GAN models to achieve state-of-the-art performance when only limited training data of the ImageNet benchmark is available.

연구 동기 및 목표

• 제한된 훈련 데이터만 존재할 때 강건한 GANs를 훈련시키는 데 도전하는 것.
• 특히 고용량 모델에서 데이터 부족 상황에서도 GANs의 일반화 성능과 훈련 안정성을 향상시키는 것.
• 기존의 데이터 증강 기법과 개념적·실험적으로 상호보완적인 모델 정규화 접근법을 개발하는 것.
• 이 정규화를 LeCam-발산과 이론적으로 연결하여, 제한된 데이터 하에서 더 강건한 f-발산임을 설명하는 것.

제안 방법

• 진짜 이미지에 대한 현재 판별자 예측과 생성된 이미지에 대한 과거 예측의 이동 평균 간 ℓ₂ 차이를 벌리는 정규화 손실을 도입한다.
• 반대로도 동일한 정규화를 적용한다: 현재 생성된 이미지 예측과 과거 진짜 이미지 예측의 이동 평균 간 차이를 벌이는 것.
• 이론적 분석을 통해 이 정규화가 온건한 가정 하에서 WGAN 목표를 LeCam-발산을 최소화하는 방향으로 변형함을 보여준다.
• 이 정규화는 판별자 훈련 중에 적용되며, 다양한 GAN 아키텍처와 손실 함수와 호환된다.
• 기존 예측을 추적하고 일관성을 강제하기 위해 적응형 이동 평균(α_R 및 α_F)을 사용한다.
• 부정적 발산과 성능 저하를 방지하기 위해 정규화 강도 λ를 합리적인 범위([0.1, 0.5] 등) 내에서 튜닝한다.

실험 결과

연구 질문

• RQ1 데이터 증강과 무관하게, 모델 정규화 접근법이 제한된 훈련 데이터 하에서 GAN의 일반화 성능을 향상시킬 수 있는가?
• RQ2 데이터가 부족할 경우 제안된 정규화가 GAN의 훈련 동역학을 안정화시키는가?
• RQ3 기존의 데이터 증강 기법과의 상호보완성은 GAN 성능 향상에 기여하는가?
• RQ4 LeCam-발산과의 이론적 연결이 제한된 데이터 하에서의 강건성 향상을 설명할 수 있는가?

주요 결과

• 데이터 증강과 조합했을 때, 10% ImageNet에서 FID 점수를 10.9점 향상시켜 최고 성능인 21.70을 달성한다.
• 20% 데이터만 있는 CIFAR-10에서, 진짜 이미지와 생성된 이미지 예측 양쪽을 정규화했을 때 FID는 기준값 21.86에서 15.27로 감소한다.
• 이 방법은 더 큰 모델에서 가장 효과적이며, 과적합이 더 심한 상황에서 정규화의 이점이 더 두드러진다. 이는 용량이 큰 아키텍처에 더 강력한 정규화 효과가 있음을 시사한다.
• 정규화는 판별자 예측을 안정화시켜, 데이터 부족 상황에서 진짜 이미지와 생성된 이미지의 점수 간 발산을 방지한다.
• 완전히 레이블이 매겨진 데이터셋에서 데이터 증강이 성능을 떨어뜨릴 때조차도 이 방법은 효과를 유지한다. 이는 동일한 성능 저하를 피한다는 것을 의미한다.
• 제거 실험 결과, 진짜 이미지와 생성된 이미지 예측 양쪽을 정규화할 때 가장 우수한 성능를 기록하며, 단일 항 정규화보다 뛰어난 성능을 보였다.