[논문 리뷰] Reliable Fidelity and Diversity Metrics for Generative Models

Muhammad Ferjad Naeem, Seong Joon Oh외 3명|arXiv (Cornell University)|2020. 02. 23.

Generative Adversarial Networks and Image Synthesis참고 문헌 24인용 수 54

한 줄 요약

논문은 generative 모델의 충실도와 다양성을 평가하기 위한 밀도와 커버리지(D&C) 지표를 도입하고, 기존의 정밀도/재현성 지표의 실패를 다루며 임베딩 선택과 하이퍼파라미터 선택을 분석한다.

ABSTRACT

Devising indicative evaluation metrics for the image generation task remains an open problem. The most widely used metric for measuring the similarity between real and generated images has been the Fréchet Inception Distance (FID) score. Because it does not differentiate the fidelity and diversity aspects of the generated images, recent papers have introduced variants of precision and recall metrics to diagnose those properties separately. In this paper, we show that even the latest version of the precision and recall metrics are not reliable yet. For example, they fail to detect the match between two identical distributions, they are not robust against outliers, and the evaluation hyperparameters are selected arbitrarily. We propose density and coverage metrics that solve the above issues. We analytically and experimentally show that density and coverage provide more interpretable and reliable signals for practitioners than the existing metrics. Code: https://github.com/clovaai/generative-evaluation-prdc.

연구 동기 및 목표

• 생성 모델 평가를 위한 정밀도와 재현성 지표의 불안정성과 하이퍼파라미터 임의성을 다룬다.
• 밀도와 커버리지(D&C)를 충실도와 다양성을 각각 독립적으로 정량화하는 강건한 대안으로 제안한다.
• D&C가 기존 지표들보다 우수하다는 analytic 결과와 실증적 증거를 제공한다.
• 평가의 데이터셋 편향을 줄이기 위해 랜덤 임베딩을 포함한 임베딩 선택을 연구한다.
• 하이퍼파라미터 선택 및 평가 구성에 대한 실용적인 가이드라인을 제시한다.

제안 방법

• 밀도와 커버리지를 실제 샘플 주위의 k-최근접 이웃으로부터 구축된 이웃 기반 지표로 정의하고, 위조 샘플의 소속(밀도)과 실제 샘플의 커버리지(커버리지)를 집계한다.
• D&C를 개선된 정밀도와 재현성(P&R)과 비교하고 이상치 및 모드 드롭에 대한 강건성을 분석한다.
• 동일한 실제 분포와 가짜 분포 하에서 E[density] = 1 및 E[coverage] = 1 - ((N-1)...(N-k))/((M+N-1)...(M+N-k))에 대한 해석적 표현식을 도출한다.
• E[coverage] > 0.95를 목표로 한 체계적 하이퍼파라미터 선택을 제안하고 실용적 기본값을 제공한다(예: N=M=10,000, k=5).
• ImageNet-사전학습된 및 무작위로 초기화된 CNN을 포함한 임베딩 전략을 조사하고 데이터 유형(이미지, 오디오 등)에 따른 평가에 미치는 영향을 평가한다.
• 토이 분포와 실제 데이터셋(MNIST, FFHQ, CelebA, LSUN, SC09)을 사용하여 충실도-다양성 진단 능력을 설명하는 실험을 수행한다.

실험 결과

연구 질문

• RQ1 밀도와 커버리지가 실제 분포와 가짜 분포가 동일할 때를 신뢰성 있게 나타낼 수 있는가?
• RQ2 밀도와 커버리는 이상치에 대해 강건하고 이전의 P&R 지표보다 모드 드롭을 더 잘 탐지할 수 있는가?
• RQ3 임베딩 선택(사전 학습된 것 vs 무작위)의 차이가 서로 다른 도메인에서 평가 결과에 어떤 영향을 미치는가?
• RQ4 안정적이고 분포 유형에 무관한 평가를 제공하는 하이퍼파라미터 설정은 무엇이며, 실제로 어떻게 선택해야 하는가?

주요 결과

• 밀도와 커버리지는 이상치 및 분포 매치 하에서 특히 정밀도와 재현성보다 더 안정적이고 해석 가능한 신호를 제공한다.
• 해석적 결과는 E[density] = 1 및 E[coverage]가 N, M 및 k가 증가함에 따라 1에 근접함을 보여주며, 원칙에 따른 하이퍼파라미터 선택을 가능하게 한다.
• D&C가 P&R에 비해 토이 및 실제 데이터 실험에서 분포 매치 및 모드 드롭을 더 잘 탐지한다.
• 목표 데이터가 ImageNet 통계에서 크게 벗어날 때 랜덤 임베딩이 더 의미 있는 평가를 제공할 수 있다.
• 하이퍼파라미터는 고커버리지(예: > 0.95)를 달성하도록 체계적으로 선택할 수 있으며, 데이터셋별 이웃에 초점을 맞추어 계산을 확장 가능하게 할 수 있다.