[논문 리뷰] Towards GAN Benchmarks Which Require Generalization

Ishaan Gulrajani, Colin Raffel외 1명|arXiv (Cornell University)|2020. 01. 10.

Model-Driven Software Engineering Techniques인용 수 33

한 줄 요약

이 논문은 일반 GAN 평가 지표가 기억화(memorization)로 속일 수 있음을 주장하고 샘플 기반 벤치마크로서 신경망 발산(NNDs)을 제안하며 이는 실제 일반화를 필요로 한다; CNN 기반 발산은 기억화를 페널티하고 지각 품질과 상관관계가 있음을 입증한다.

ABSTRACT

For many evaluation metrics commonly used as benchmarks for unconditional image generation, trivially memorizing the training set attains a better score than models which are considered state-of-the-art; we consider this problematic. We clarify a necessary condition for an evaluation metric not to behave this way: estimating the function must require a large sample from the model. In search of such a metric, we turn to neural network divergences (NNDs), which are defined in terms of a neural network trained to distinguish between distributions. The resulting benchmarks cannot be "won" by training set memorization, while still being perceptually correlated and computable only from samples. We survey past work on using NNDs for evaluation and implement an example black-box metric based on these ideas. Through experimental validation we show that it can effectively measure diversity, sample quality, and generalization.

연구 동기 및 목표

• 일반화가 필요하고 기억화 이상의 샘플 기반 벤치마크를 정의한다.
• 평가 지표가 학습 세트 기억화를 장려하기보다 일반화를 유도하는 방식으로 작동해야 하는지 명확히 한다.
• 그런 벤치마크로서 신경망 발산(NNDs)을 조사하고 그 특성을 평가한다.

제안 방법

• 평가 지표를 서로 다른 분포 간의 발산으로 정의하여 유한 샘플에서 추정한다.
• 정의 1에 따라 모델이 학습 세트 기억화를 능가해야 한다는 기준( baseline)을 제시한다.
• CNN 비판자와 WGAN-GP 목표를 사용하는 실용적 NND로서 CNN 발산(D_CNN)을 도입하고 일반화를 평가하기 위한 실험 프로토콜을 제시한다.
• 몇 개의 학습 샘플이 필요하여 기억화가 GAN을 metric에서 이길 수 있는지 평가한다(표 2).
• CIFAR-10에서 IS와 FID에 대해 D_CNN과 비교한다.

실험 결과

연구 질문

• RQ1 샘플 기반 지표가 기억화를 쉽게 이길 수 없도록 설계될 수 있어 일반화를 강제하는가?
• RQ2 신경망 발산이 GAN에서 기억화와 실제 일반화를 효과적으로 구분하는가?
• RQ3 지각적으로 정렬된 NND들(예: CNN 기반)은 샘플 다양성과 품질과의 상관관계에서 IS 및 FID와 어떻게 비교되는가?

주요 결과

• IS와 FID는 학습된 일반화보다 기억화를 선호할 수 있는 반면, CNN 발산은 학습 데이터 세트를 넘어 일반화하는 모델을 선호한다.
• CNN 발산은 과적합을 탐지하고 제시된 실험에서 IS/FID보다 다양성을 더 효과적으로 측정한다.
• WGAN-GP 설정으로 학습된 CNN 발산은 테스트 샘플에서 D_CNN으로 평가될 때 CIFAR-10에서 기억화를 능가할 수 있으며 더 넓은 일반화와 상관관계가 있다.
• 평판 샘플의 필요 샘플 크기를 증가시키면 기억화가 모델을 이길 수 있는 임계값이 상승하여 다양성에 대한 민감도가 나타난다.
• CNN 발산 값은 학습 중 감소하고 훈련 발산과 테스트 발산 간의 차이를 드러내며 평가에서 일반화의 중요성을 강조한다.
• 소형 테스트 세트에서의 편향이 추정에 영향을 미칠 수 있지만 더 크고 더 작은 테스트 세트 간의 경향은 여전히 상관되어 있다.