[논문 리뷰] Revisiting Precision and Recall Definition for Generative Model Evaluation

Loïc Simon, Ryan Webster외 1명|arXiv (Cornell University)|2019. 05. 14.

Generative Adversarial Networks and Image Synthesis참고 문헌 22인용 수 5

한 줄 요약

이 논문은 이산 분포가 아닌 임의의 확률 측도로 일반화된 정의를 통해 생성 모델 평가를 위한 정밀도와 재현율을 재정의하며, 유사도 비율 검정에서 유형 I/II 오류 비율과 정밀도-재현율 곡선 간의 연결 고리를 설정한다. 저자들은 제어된 다중모달 데이터셋에서 모드 붕괴와 품질 문제 탐지에 있어 이전 방법보다 향상된 새로운 알고리즘을 제안한다.

ABSTRACT

In this article we revisit the definition of Precision-Recall (PR) curves for generative models proposed by Sajjadi et al. (arXiv:1806.00035). Rather than providing a scalar for generative quality, PR curves distinguish mode-collapse (poor recall) and bad quality (poor precision). We first generalize their formulation to arbitrary measures, hence removing any restriction to finite support. We also expose a bridge between PR curves and type I and type II error rates of likelihood ratio classifiers on the task of discriminating between samples of the two distributions. Building upon this new perspective, we propose a novel algorithm to approximate precision-recall curves, that shares some interesting methodological properties with the hypothesis testing technique from Lopez-Paz et al (arXiv:1610.06545). We demonstrate the interest of the proposed formulation over the original approach on controlled multi-modal datasets.

연구 동기 및 목표

• FID와 같은 스칼라 지표가 낮은 정밀도(저품질 샘플)와 데이터 분포 전체를 커버하지 못하는 낮은 재현율(분포 커버리지 실패)을 구분할 수 없다는 한계를 해결하기 위해.
• Sajjadi 등(2018)이 제안한 정밀도-재현율 프레임워크를 유한 지지 집합을 가진 이산 분포를 넘어서 연속적이고 다중모달인 분포로 일반화하기 위해.
• 정밀도-재현율 곡선과 통계적 가설 검정, 특히 유사도 비율 분류기에서의 유형 I 및 유형 II 오류 비율 간의 이론적 연결 고리를 설정하기 위해.
• 실제로 실수와 생성 샘플을 구분하는 이진 분류기를 사용하여 정밀도-재현율 곡선을 근사화하는 실용적인 알고리즘을 개발하기 위해.
• 제안된 수식을 제어된 다중모달 데이터셋에 대해 실증적으로 검증하여, 이전 접근 방식에 비해 모드 붕괴와 품질 악화에 더 민감하게 반응하는 것을 보여주기 위해.

제안 방법

• 유한 지지 집합을 가진 분포에 제한되지 않는 한, 임의의 확률 측도로 정밀도-재현율 정의를 일반화하여 연속적이고 다중모달인 데이터 분포에 적용 가능하게 한다.
• 정밀도와 재현율이 유사도 비율 분류기의 유형 I 및 유형 II 오류 비율과 대응됨을 보여줌으로써 정밀도-재현율과 통계적 가설 검정 간의 이론적 다리를 구축한다.
• 실제 샘플과 생성 샘플을 구분하는 훈련된 이진 분류기를 사용하여 정밀도-재현율 곡선을 근사화하는 새로운 알고리즘을 제안하며, Lopez-Paz & Oquab(2017)의 가설 검정 방법과 정신적으로 유사하다.
• 특징 임bedding(예: Inception 특징)을 사용하여 고차원 데이터를 더 낮은 차원의 공간으로 매핑함으로써 분류기 기반의 구분이 더 의미 있고 안정적이게 한다.
• 다양한 결정 임계값에서 진짜 양성 비율과 거짓 양성 비율을 추정하기 위해 분류기를 적용하여 전체 정밀도-재현율 곡선을 구성한다.
• 유형 I/II 오류에 대한 이론적 연결 고리를 활용하여 곡선이 통계적으로 원칙에 기반한 방식으로 샘플 품질(정밀도)과 커버리지(재현율)를 반영하도록 보장한다.

실험 결과

연구 질문

• RQ1 이산 근사화를 넘어서 연속적이고 다중모달인 생성 모델에 대해 정밀도와 재현율를 어떻게 의미 있게 정의할 수 있는가?
• RQ2 생성 모델 평가의 맥락에서 정밀도-재현율 곡선과 통계적 가설 검정 오류 비율(유형 I 및 유형 II) 간의 이론적 관계는 무엇인가?
• RQ3 분류기 기반 접근 방식은 FID나 Inception Score와 같은 스칼라 지표보다 정밀도-재현율 곡선을 더 효과적으로 근사화할 수 있는가?
• RQ4 제안된 방법은 제어된 데이터셋에서 기존 접근 방식에 비해 모드 붕괴(낮은 재현율)와 낮은 샘플 품질(낮은 정밀도)을 더 잘 탐지하는가?
• RQ5 특징 공간 임bedding의 사용은 이미지와 같은 고차원 데이터에서 정밀도-재현율 곡선의 안정성과 해석 가능성에 어떤 영향을 미치는가?

주요 결과

• 제안된 수식은 이산 분포를 넘어서 정의를 일반화하여, 이산화 없이도 연속적이고 다중모달인 데이터 분포 평가가 가능하게 한다.
• 이 방법은 정밀도-재현율과 유사도 비율 검정에서의 유형 I 및 유형 II 오류 비율 간의 직접적인 이론적 연결 고리를 설정하여 지표에 통계적 기반을 제공한다.
• 정밀도-재현율 곡선을 근사화하는 데 사용된 제안된 알고리즘은 원래 Sajjadi 등이 제안한 방법에 비해 제어된 다중모달 데이터셋에서 모드 붕괴와 품질 악화에 더 민감하게 반응함을 보여준다.
• Inception 특징와 같은 특징 임bedding의 사용은 의미 있는 분류기 성능을 위해 필수적임을 입증하였으며, 원시 이미지 공간은 상호 단일성으로 인해 자명한 정밀도-재현율 곡선을 유도하기 때문이다.
• 이 방법은 분포의 모든 모드를 커버하지 못하는 모델(낮은 재현율)과 고품질이지만 제한된 샘플을 생성하는 모델(낮은 정밀도)을 명확히 구분할 수 있으며, FID와 같은 스칼라 지표가 이를 구분할 수 없다.
• 실증 결과는 새로운 수식이 스칼라 지표만으로는 제공할 수 없는 더 세밀하고 정보적인 생성 모델 평가를 가능하게 하며, 특히 미세한 실패 모드를 탐지하는 데서 뛰어난 성능을 보임을 확인한다.