[논문 리뷰] Assessing Generative Models via Precision and Recall

Mehdi S. M. Sajjadi, Olivier Bachem외 3명|arXiv (Cornell University)|2018. 05. 31.

Generative Adversarial Networks and Image Synthesis인용 수 173

한 줄 요약

분포 수준의 정밀도와 재현 프레임워크(PRD)를 도입하여 생성 모델을 평가하고 샘플 품질과 분포 커버리지를 구분 가능하게 하며 샘플로부터 효율적인 계산 방법을 제공.

ABSTRACT

Recent advances in generative modeling have led to an increased interest in the study of statistical divergences as means of model comparison. Commonly used evaluation methods, such as the Frechet Inception Distance (FID), correlate well with the perceived quality of samples and are sensitive to mode dropping. However, these metrics are unable to distinguish between different failure cases since they only yield one-dimensional scores. We propose a novel definition of precision and recall for distributions which disentangles the divergence into two separate dimensions. The proposed notion is intuitive, retains desirable properties, and naturally leads to an efficient algorithm that can be used to evaluate generative models. We relate this notion to total variation as well as to recent evaluation metrics such as Inception Score and FID. To demonstrate the practical utility of the proposed approach we perform an empirical study on several variants of Generative Adversarial Networks and Variational Autoencoders. In an extensive set of experiments we show that the proposed metric is able to disentangle the quality of generated samples from the coverage of the target distribution.

연구 동기 및 목표

• 샘플 품질과 대상 분포의 커버리지 구분이 필요한 평가 지표의 필요성을 동기화한다.
• 분포에 대한 이론적으로 건전한 정밀도와 재현 개념을 정의하여 발산들을 분해한다.
• 샘플로부터 PRD 곡선을 효율적으로 계산하는 알고리즘을 개발한다.
• PRD를 기존 지표와 연관시키고 이미지 및 텍스트 데이터에 대한 실용적 활용성을 시연한다.
• PRD를 사용하여 모드 드롭과 모드 발명을 진단하는 GAN과 VAE에 대한 경험적 통찰을 제공한다.]
• method: ["P와 Q를 유한 공간上的 분포로 정의하고 공유 구성 요소와 비공유 구성 요소로 분해한다.","공통 구성 요소 μ를 사용하여 공유된 구조를 포착하고 formal한 정밀도-재현 집합 PRD(Q,P)를 도출하는 트레이드오프 매개변수화된 PRD 프레임워크를 도입한다.","PRD의 기초적 특성(이중성 및 단조성 포함)을 증명하고 총 변화(total variation)와의 연결고리를 제시한다.","알파(lambda) 및 베타(lambda) 합과 등각 간격 그리드를 활용한 PRD 계산 알고리즘을 제공한다.","샘플을 특징 공간(Inception Pool3)에 임베딩하고 클러스터링하여 1D 비교로 축소함으로써 심층 생성 모델에 PRD를 적용한다.","MNIST, Fashion-MNIST, CIFAR-10, CelebA 및 텍스트 데이터에 대한 PRD의 계산과 해석을 시연한다."]
• research_questions: ["생성 모델의 다른 실패 모드를 드러내기 위해 분포에 대한 정밀도와 재현은 어떻게 정의될 수 있는가?","제안된 PRD 프레임워크가 총 변화(total variation), IS, FID와 같은 기존 지표와 어떻게 관련되는가?","PRD가 GAN과 VAE에서 모드 드롭을 모드 발명으로 구분해낼 수 있는가?","샘플에서 계산이 실용적이고 이미지 및 텍스트 데이터에 적용했을 때 의미가 있는가?","PRD가 샘플 품질과 다양성에 대해 GAN과 VAE에 대해 어떤 경험적 통찰을 제공하는가?"]
• key_findings: ["PRD는 샘플 품질(정밀도)과 분포 커버리지(재현)를 분리하는 이차원 관점을 제공한다.","PRD 프레임워크는 총 변화(total variation)를 일반화하고 FID 및 Inception Score와의 연결고리를 형성한다.","PRD 곡선은 GAN과 VAE에서 모드 드롭과 모드 발명을 드러내고 왜 FID/IS가 결정적이지 않을 수 있는지 명확히 한다.","실험적 결과는 VAE가 일반적으로 재현은 높지만 정밀도는 낮은 경향이 있고, 반면 GAN은 종종 정밀도가 높지만 재현은 낮은 경향이 있음을 보여준다.","이미지 및 텍스트 데이터에서 사전 학습된 분류기를 통한 임베딩 및 특징 공간에서의 클러스터링으로 방법이 작동한다.","PRD는 정밀도와 재현의 트레이딩을 통해 Fβ의 가족 요약을 제공하여 모델 비교를 돕는다.]
• table_headers: []
• table_rows: []}

제안 방법

• P와 Q를 유한 공간上的 분포로 정의하고 공유 구성 요소와 비공유 구성 요소로 분해한다.
• 공통 구성 요소 μ를 사용하여 공유된 구조를 포착하고 formal한 정밀도-재현 집합 PRD(Q,P)를 도출하는 트레이드오프 매개변수화된 PRD 프레임워크를 도입한다.
• PRD의 기초적 특성(이중성 및 단조성 포함)을 증명하고 총 변화(total variation)와의 연결고리를 제시한다.
• 알파(lambda) 및 베타(lambda) 합과 등각 간격 그리드를 활용한 PRD 계산 알고리즘을 제공한다.
• 샘플을 특징 공간(Inception Pool3)에 임베딩하고 클러스터링하여 1D 비교로 축소함으로써 심층 생성 모델에 PRD를 적용한다.
• MNIST, Fashion-MNIST, CIFAR-10, CelebA 및 텍스트 데이터에 대한 PRD의 계산과 해석을 시연한다.

실험 결과

연구 질문

• RQ1 생성 모델의 다른 실패 모드를 드러내기 위해 분포에 대한 정밀도와 재현은 어떻게 정의될 수 있는가?
• RQ2 제안된 PRD 프레임워크가 총 변화(total variation), IS, FID와 같은 기존 지표와 어떻게 관련되는가?
• RQ3 PRD가 GAN과 VAE에서 모드 드롭을 모드 발명으로 구분해낼 수 있는가?
• RQ4 샘플에서 계산이 실용적이고 이미지 및 텍스트 데이터에 적용했을 때 의미가 있는가?
• RQ5 PRD가 샘플 품질과 다양성에 대해 GAN과 VAE에 대해 어떤 경험적 통찰을 제공하는가?

주요 결과

• PRD는 샘플 품질(정밀도)과 분포 커버리지(재현)를 분리하는 이차원 관점을 제공한다.
• PRD 프레임워크는 총 변화(total variation)를 일반화하고 FID 및 Inception Score와의 연결고리를 형성한다.
• PRD 곡선은 GAN과 VAE에서 모드 드롭과 모드 발명을 드러내고 왜 FID/IS가 결정적이지 않을 수 있는지 명확히 한다.
• 실험적 결과는 VAE가 일반적으로 재현은 높지만 정밀도는 낮은 경향이 있고, 반면 GAN은 종종 정밀도가 높지만 재현은 낮은 경향이 있음을 보여준다.
• 이미지 및 텍스트 데이터에서 사전 학습된 분류기를 통한 임베딩 및 특징 공간에서의 클러스터링으로 방법이 작동한다.
• PRD는 정밀도와 재현의 트레이딩을 통해 Fβ의 가족 요약을 제공하여 모델 비교를 돕는다.]
• table_headers: []
• table_rows: []