[논문 리뷰] An empirical study on evaluation metrics of generative adversarial networks

Qiantong Xu, Gao Huang외 5명|arXiv (Cornell University)|2018. 06. 19.

Generative Adversarial Networks and Image Synthesis참고 문헌 27인용 수 221

한 줄 요약

본 논문은 인기 있는 GAN 평가 지표를 경험적으로 분석하고 학습된 특징 공간에서 커널 MMD와 1-NN 이표본 검정이 판별력, 모드 민감성, 효율성 같은 핵심 특성을 가장 잘 충족함을 보여준다. 또한 GAN 모델 전반에서 과적합 탐지와 같은 실용적 측면도 평가한다.

ABSTRACT

Evaluating generative adversarial networks (GANs) is inherently challenging. In this paper, we revisit several representative sample-based evaluation metrics for GANs, and address the problem of how to evaluate the evaluation metrics. We start with a few necessary conditions for metrics to produce meaningful scores, such as distinguishing real from generated samples, identifying mode dropping and mode collapsing, and detecting overfitting. With a series of carefully designed experiments, we comprehensively investigate existing sample-based metrics and identify their strengths and limitations in practical settings. Based on these results, we observe that kernel Maximum Mean Discrepancy (MMD) and the 1-Nearest-Neighbor (1-NN) two-sample test seem to satisfy most of the desirable properties, provided that the distances between samples are computed in a suitable feature space. Our experiments also unveil interesting properties about the behavior of several popular GAN models, such as whether they are memorizing training samples, and how far they are from learning the target distribution.

연구 동기 및 목표

• GAN 평가 지표의 바람직한 특성(예: 판별력, 모드 감소/붕괴에 대한 민감성, 과적합 탐지 등)을 명확히 한다.
• 다양한 데이터셋에 걸쳐 대표적인 샘플 기반 지표를 체계적으로 비교하여 강점과 한계를 식별한다.
• 실용적 GAN 개발 및 모델 선택에 신뢰할 수 있는 지표를 판단한다.

제안 방법

• 주요 샘플 기반 GAN 지표(Inception Score, Mode Score, Kernel MMD, Wasserstein, FID, 1-NN 이표본 검정)를 검토하고 분류한다.
• 사전 학습된 ResNet-34를 이용해 학습된 특징 공간에서 지표를 작동시켜 이미지 간 의미 있는 거리를 얻는다.
• CelebA와 LSUN- bedroom에서 제어된 실험을 수행해 판별력, 모드 붕괴/드롭, 변환에 대한 강인성, 샘플 효율성, 과적합 등을 테스트한다.
• holdout 검증 세트를 통해 실데이터와 생성 데이터의 혼합, 모드 조작, 과적합에 대한 지표의 민감성을 평가한다.

실험 결과

연구 질문

• RQ1 기존 GAN 평가 지표의 합리적인 행태 특성은 무엇인가?
• RQ2 실용적 GAN 평가에서 이들 지표의 강점과 한계는 무엇인가?
• RQ3 어떤 지표가 실제 데이터와 생성 데이터를 가장 신뢰성 있게 구분하고 모드 붕괴나 과적합과 같은 문제를 감지하는가?

주요 결과

• 콘볼루션 특성 공간에서의 커널 MMD와 1-NN 이표본 검정은 판별력과 효율성을 포함한 대부분의 바람직한 특성을 충족한다.
• Inception Score와 Mode Score는 ImageNet과 매우 다른 데이터셋에서 오해를 일으킬 수 있으며 과적합 탐지가 잘되지 않는다.
• Wasserstein 거리의 경우 대규모 샘플이 필요하고 계산 비용이 높아 실용적 매력이 감소한다.
• Fréchet Inception Distance(FID)은 특징 공간에서 모멘트를 모형화함으로써 견고하고 효율적으로 동작한다.
• 특징 공간의 선택이 중요하다; 컨볼루션 표현(ResNet 기반)이 픽셀 공간보다 신뢰할 수 있는 지표 동작을 제공한다.
• 1-NN 정확도는 해석 가능한 점수를 제공하고 모드 붕괴에 대한 인식을 강조하며 실제 대 가짜 이웃 간 차이가 과적합 경향을 드러낸다.