[논문 리뷰] Investigating Under and Overfitting in Wasserstein Generative Adversarial Networks

Ben Adlam, Charles Weill외 1명|arXiv (Cornell University)|2019. 10. 30.

Generative Adversarial Networks and Image Synthesis참고 문헌 19인용 수 9

한 줄 요약

이 논문은 생성 분포의 일반화를 측정하기 위해 보조적이고 독립적인 판별기들을 도입하여 워셔스타인 GAN에서 과소적합과 과적합을 조사한다. 연구 결과, 생성기 품질은 판별기의 용량에 크게 의존하며, 생성기가 과적합된 증거가 전혀 없이, 심지어 판별기가 과소적합할 때조차도 생성기 성능이 유지됨을 발견하여, 낮은 판별기 일반화 능력이 생성기 성능을 떨어뜨리지 않는다는 것을 시사한다.

ABSTRACT

We investigate under and overfitting in Generative Adversarial Networks (GANs), using discriminators unseen by the generator to measure generalization. We find that the model capacity of the discriminator has a significant effect on the generator's model quality, and that the generator's poor performance coincides with the discriminator underfitting. Contrary to our expectations, we find that generators with large model capacities relative to the discriminator do not show evidence of overfitting on CIFAR10, CIFAR100, and CelebA.

연구 동기 및 목표

• 워셔스타인 GAN에서 모델 용량과 일반화가 생성기 품질에 미치는 영향을 조사하기 위해.
• 생성기가 접근하지 않은 독립적인 판별기를 사용하여 GAN의 과적합과 과소적합을 측정하기 위해.
• 판별기가 일반화에 실패할 경우 생성기 성능이 떨어지는지 평가하기 위해.
• CIFAR10, CIFAR100, CelebA에서 판별기의 분리도, FID, 실제 생성기 품질 간의 상관관계를 평가하기 위해.

제안 방법

• 원래 판별기와 별개로 실 데이터와 생성 샘플을 기반으로 훈련된 보조 판별기를 도입하여 생성기의 분리도를 독립적으로 측정한다.
• 고정된 아키텍처(64채널)를 가진 독립적인 판별기를 도입하여 다양한 생성기 및 판별기 용량에서의 일반화 능력을 평가한다.
• 이 판별기를 통해 측정한 실 데이터와 생성 데이터 간의 분리도를 모델 품질의 대체 지표로 사용한다.
• 판별기 기반의 분리도 측정치의 신뢰성을 검증하기 위해 FID를 표준 지표로 활용한다.
• 훈련 세트와 테스트 세트의 분리도를 비교하여 생성기 및 판별기에서의 과적합 여부를 탐지한다.
• 각 판별기 유형에 대해 훈련 및 테스트 세트 간의 분리도 차이를 분석하여 일반화 갭을 분석한다.

실험 결과

연구 질문

• RQ1 판별기가 과소적합할 경우, 특히 테스트 세트에 일반화하지 못할 경우 생성기가 과적합하는가?
• RQ2 생성기와 판별기 간의 상대적 모델 용량이 생성기 품질과 일반화에 어떤 영향을 미치는가?
• RQ3 보조 및 독립적인 판별기가 FID와 상관관계가 있으며 신뢰할 수 있는 생성기 성능 측정치를 제공할 수 있는가?
• RQ4 판별기가 과다 또는 과소 파rameter화되었을 경우 생성기에 과적합의 증거가 있는가?
• RQ5 원래 판별기가 측정한 분리도가 실제 모델 품질과의 상관관계에서 보조 및 독립 판별기와 비교해 어떻게 다른가?

주요 결과

• 생성기의 모델 품질은 판별기의 모델 용량에 크게 영향을 받으며, 판별기가 충분히 복잡할 때 더 나은 성능을 보인다.
• 원래 판별기는 일반화에 실패하는 경우가 많아 훈련 및 테스트 세트 간에 큰 또는 일관되지 않은 일반화 갭을 보이지만, 생성기는 여전히 잘 작동한다.
• 독립적인 판별기 또는 FID로 평가했을 때, 원래 판별기가 과소적합하더라도 생성기에서 과적합이 관찰되지 않는다.
• 보조 및 독립 판별기는 일관되고 낮은 일반화 갭을 보이며, CIFAR10과 CIFAR100에서 FID와 강한 상관관계를 보인다.
• CelebA에서는 독립 판별기의 분리도가 판별기 채널 수가 증가함에 따라 감소하며, 안정된 일반화 갭을 유지한다.
• 원래 판별기가 측정한 분리도는 생성기 품질과 상관관계가 없지만, 보조 및 독립 판별기는 상관관계가 있어 더 신뢰할 수 있는 모델 평가의 대체 지표로 활용 가능하다.