[논문 리뷰] An Improved Evaluation Framework for Generative Adversarial Networks

Shaohui Liu, Yi Wei외 2명|arXiv (Cornell University)|2018. 03. 20.

Generative Adversarial Networks and Image Synthesis참고 문헌 34인용 수 41

한 줄 요약

논문은 도메인 특화 인코더와 Class-Aware Frechet Distance (CAFD)를 도입하여 GAN 평가를 개선하고, CAFD와 도메인 중심 피처가 FID보다 우수하며 인간 판단과 FID의 불일치를 드러낸다는 점을 보여준다.

ABSTRACT

In this paper, we propose an improved quantitative evaluation framework for Generative Adversarial Networks (GANs) on generating domain-specific images, where we improve conventional evaluation methods on two levels: the feature representation and the evaluation metric. Unlike most existing evaluation frameworks which transfer the representation of ImageNet inception model to map images onto the feature space, our framework uses a specialized encoder to acquire fine-grained domain-specific representation. Moreover, for datasets with multiple classes, we propose Class-Aware Frechet Distance (CAFD), which employs a Gaussian mixture model on the feature space to better fit the multi-manifold feature distribution. Experiments and analysis on both the feature level and the image level were conducted to demonstrate improvements of our proposed framework over the recently proposed state-of-the-art FID method. To our best knowledge, we are the first to provide counter examples where FID gives inconsistent results with human judgments. It is shown in the experiments that our framework is able to overcome the shortness of FID and improves robustness. Code will be made available.

연구 동기 및 목표

• GAN의 도메인 특화 이미지 생성을 위한 양적 평가를 더 잘 촉진한다.
• ImageNet 기반 표현이 많은 데이터셋에서 효과적이지 않다고 주장하고 도메인 특화 인코더를 제안한다.
• 다중 클래스 특징 분포를 가우시안 혼합 모델(GMM) 접근으로 모델링하기 위해 CAFD를 도입한다.
• CAFD가 인간 판단과 더 잘 정렬되고 FID가 놓치는 문제를 감지함을 입증한다.

제안 방법

• 대상 데이터셋으로부터 미세한 표현을 얻기 위해 도메인 특화 인코더를 사용한다.
• 단일 가우시안이 아닌 가우시안 혼합 모델(GMM)로 다중 클래스 특징 분포를 모델링한다.
• 클래스별 프리체 거리(Frechet distance)를 계산하고 클래스 간 평균을 내어 CAFD를 정의한다.
• 실제 분포와 생성 분포 간의 KL 발산을 도입하여 모드 드랍을 탐지한다.
• CAFD가 트레인/테스트 CAFD 점수를 비교해 클래스별 생성 성능 및 과적합 가능성을 드러낼 수 있음을 보여준다.

실험 결과

연구 질문

• RQ1 도메인 특화 인코더가 ImageNet 기반 인코더에 비해 GAN 평가를 위한 특징 표현의 품질을 향상시키는가?
• RQ2 CAFD가 FID보다 다중 매니폴드 피처 분포를 더 잘 포착하는가?
• RQ3 CAFD가 인간 판단과 더 근접하게 일치하고 FID가 놓치는 모드 관련 문제를 감지하는가?

주요 결과

• 도메인 특화 인코더가 ImageNet 기반 피처보다 더 효과적이고 미세한 표현을 제공한다.
• 가우시안 혼합 모델을 사용하는 CAFD가 다중 클래스 피처 분포에 더 잘 맞고 클래스 인식 거리 측정을 제공한다.
• CAFD는 FID가 인간 판단과 충돌하는 불일치를 드러내고 피처 수준 교란에 대한 강건성을 보인다.
• 실제 분포와 생성 분포 간의 KL 발산이 모드 드랍을 탐지하는 데 도움을 준다.
• MNIST/CIFAR/CelebA에 대한 실험은 FID보다 프레임워크의 이점을 시연하고 클래스별 인사이트를 제공한다.