[논문 리뷰] Classification Accuracy Score for Conditional Generative Models

Suman Ravuri, Oriol Vinyals|arXiv (Cornell University)|2019. 05. 26.

Generative Adversarial Networks and Image Synthesis참고 문헌 44인용 수 99

한 줄 요약

Classification Accuracy Score (CAS)가 조건부 생성 모델의 합성 데이터로 분류기를 학습하고 실제 데이터로 테스트하여 다운스트림 작업 성능을 측정하며, IS/FID로 포착되지 않는 약점을 드러내고 가능도 기반 모델이 CAS에서 GAN보다 우수할 수 있음을 보여준다.

ABSTRACT

Deep generative models (DGMs) of images are now sufficiently mature that they produce nearly photorealistic samples and obtain scores similar to the data distribution on heuristics such as Frechet Inception Distance (FID). These results, especially on large-scale datasets such as ImageNet, suggest that DGMs are learning the data distribution in a perceptually meaningful space and can be used in downstream tasks. To test this latter hypothesis, we use class-conditional generative models from a number of model classes---variational autoencoders, autoregressive models, and generative adversarial networks (GANs)---to infer the class labels of real data. We perform this inference by training an image classifier using only synthetic data and using the classifier to predict labels on real data. The performance on this task, which we call Classification Accuracy Score (CAS), reveals some surprising results not identified by traditional metrics and constitute our contributions. First, when using a state-of-the-art GAN (BigGAN-deep), Top-1 and Top-5 accuracy decrease by 27.9\% and 41.6\%, respectively, compared to the original data; and conditional generative models from other model classes, such as Vector-Quantized Variational Autoencoder-2 (VQ-VAE-2) and Hierarchical Autoregressive Models (HAMs), substantially outperform GANs on this benchmark. Second, CAS automatically surfaces particular classes for which generative models failed to capture the data distribution, and were previously unknown in the literature. Third, we find traditional GAN metrics such as Inception Score (IS) and FID neither predictive of CAS nor useful when evaluating non-GAN models. Furthermore, in order to facilitate better diagnoses of generative models, we open-source the proposed metric.

연구 동기 및 목표

• 생성 모델의 평가를 IS와 FID 같은 지각적 지표만이 아닌 다운스트림 태스크 성능으로 평가하도록 동기를 부여합니다.
• 합성 데이터가 실제 데이터를 대조해 라벨이 달린 분류를 얼마나 잘 지원하는지의 척도로서 Classification Accuracy Score (CAS)를 정의하고 형식화합니다.
• 대규모(ImageNet)와 소규모(CIFAR-10) 데이터셋에서 여러 모델 클래스(GANs, VQ-VAE-2, HAMs)를 CAS로 비교합니다.
• CAS가 클래스별 결함을 드러낼 수 있으며 전통적인 GAN 지표가 CAS를 잘 예측하지 못한다는 것을 Demonstrate 합니다.
• CAS 지표의 오픈 소스화를 통해 더 넓은 채택과 진단적 사용을 촉진합니다.

제안 방법

• 조건부 생성 모델이 생성한 합성 데이터로 이미지 분류기(FRNet 기반)를 학습합니다.
• 실제 데이터로 분류기를 평가하여 Top-1 및 Top-5 정확도를 얻고 이를 CAS로 정의합니다.
• 모델 클래스 간에 CAS를 Inception Score (IS)와 Frechet Inception Distance (FID)와 비교합니다.
• 각 모델이 포착하지 못하는 분류를 식별하기 위해 클래스별 분석을 수행합니다.
• Real과 synthetic 데이터의 혼합으로 분류기를 학습시켜 증강 효과를 연구하는 Naive Augmentation Score (NAS)를 도입합니다.
• 재현성과 더 넓은 사용을 위한 CAS 계산 워크플로를 오픈 소스화합니다.

실험 결과

연구 질문

• RQ1 CAS가 IS/FID가 놓친 조건부 생성 모델의 다운스트림 태스크 결함을 드러낼 수 있는가?
• RQ2 어떤 모델 클래스(GANs 대 확률 기반 모델인 VQ-VAE-2 및 HAMs)가 ImageNet과 CIFAR-10에서 더 높은 CAS를 달성하는가?
• RQ3 클래스별 CAS에서 생성 모델이 데이터 분포를 일관되게 포착하지 못하는 특정 클래스가 있는가?
• RQ4 CAS가 모델 계열 간 전통적 지표(IS, FID)와 어떤 관계를 가지는가?
• RQ5 모델이 생성한 샘플로 현실 데이터를 보강하는(NAS) 것이 다운스트림 태스크 성능을 개선하는가, 그리고 어떤 조건에서 그렇는가?

주요 결과

• ImageNet에서 BigGAN-deep는 CAS 감소가 큰 것으로 나타났으며(실제 데이터 대비 Top-1 감소 27.9%, Top-5 감소 41.6%).
• 확률 기반 조건부 모델(VQ-VAE-2, HAM)이 IS/FID가 더 나쁘더라도 BigGAN-deep보다 CAS가 더 높은 경향을 보인다.
• 클래스별 분석은 BigGAN-deep와 다른 모델들이 데이터 분포를 포착하지 못하는 구체적 범주를 식별한다(예: 풍선, 노젓개 바퀴, 연필깎이, 주걱 등에서 0% 정확도까지 나타나는 경우).
• IS와 FID는 특히 비-GAN 모델의 CAS를 신뢰성 있게 예측하지 못하며, 작업에 맞춘 평가 지표의 필요성을 강조한다.
• Naive Augmentation Score (NAS)는 실제 데이터를 합성 샘플로 보강할 때 분류 성능이 작은 이득(예: Top-5 최대 약 0.2%)을 얻을 수 있지만, 절단(truncation)과 모델에 따라 결과가 달라진다.