[논문 리뷰] A note on the evaluation of generative models

Lucas Theis, Aäron van den Oord외 1명|arXiv (Cornell University)|2015. 11. 05.

Generative Adversarial Networks and Image Synthesis참고 문헌 32인용 수 435

한 줄 요약

이 논문은 생성 이미지 모델에 대한 일반적인 평가 지표를 비판하며, 고차원 데이터에서 로그우도, 시각적 샘플 품질, Parzen 창 추정치가 상호 간에 거의 독립적임을 보여준다. 높은 로그우도가 좋은 샘플을 의미하지는 않으며, 그 반대도 마찬가지이며, Parzen 창 추정치는 실제 데이터 분포보다 열 劣한 모델을 더 높게 평가할 수 있음을 경고한다.

ABSTRACT

Probabilistic generative models can be used for compression, denoising, inpainting, texture synthesis, semi-supervised learning, unsupervised feature learning, and other tasks. Given this wide range of applications, it is not surprising that a lot of heterogeneity exists in the way these models are formulated, trained, and evaluated. As a consequence, direct comparison between models is often difficult. This article reviews mostly known but often underappreciated properties relating to the evaluation and interpretation of generative models with a focus on image models. In particular, we show that three of the currently most commonly used criteria---average log-likelihood, Parzen window estimates, and visual fidelity of samples---are largely independent of each other when the data is high-dimensional. Good performance with respect to one criterion therefore need not imply good performance with respect to the other criteria. Our results show that extrapolation from one criterion to another is not warranted and generative models need to be evaluated directly with respect to the application(s) they were intended for. In addition, we provide examples demonstrating that Parzen window estimates should generally be avoided.

연구 동기 및 목표

• 고차원 데이터에서 생성 모델 평가의 핵심 지표 간 상관관계 부족을 드러내는 것.
• 좋은 샘플 품질이 높은 로그우도를 의미하거나 그 반대를 의미한다는 가정을 도전하는 것.
• Parzen 창 추정치가 신뢰할 수 없고, 진정한 로그우도가 열 劣한 모델을 선호할 수 있음을 보여주는 것.
• 생성 모델 평가에서 Parzen 창 추정치를 대체 지표로 사용하는 것을 반대하는 것.
• 평가가 목적어에 맞게 이루어져야 하며, 대체 지표에 의존해서는 안 된다는 점을 강조하는 것.

제안 방법

• 저자들은 합성 및 실제 이미지 데이터(예: CIFAR-10 및 MNIST)를 사용하여 로그우도, 생성 샘플의 시각적 정밀도, Parzen 창 추정치 간의 관계를 분석한다.
• Kullback-Leibler 발산, MMD, JSD로 최적화된 다양한 목표 함수를 사용해 혼합 가우시안에서 모델을 학습시켜 최적화 행동의 상이함을 입증한다.
• CIFAR-10의 작은 이미지 패치(6×6)에서 Parzen 창 추정치를 계산하여 진짜 로그우도 대비 수렴 행동과 편향을 평가한다.
• 클러스터 중심에 위치한 노이즈가 없는 가우시안을 사용해 k-means 기반 모델을 구축하여 Parzen 추정치의 강건성 테스트를 수행한다.
• GAN, VAE, 자동회귀 모델 등을 MNIST에서 Parzen 창 추정치를 사용해 평가한다.
• 이론적 분석과 실증 실험을 모두 활용하여 샘플 품질 및 Parzen 추정치가 진짜 로그우도와 상관관계가 없음을 보여준다.

실험 결과

연구 질문

• RQ1 고차원 이미지 데이터에서 로그우도, 시각적 샘플 품질, Parzen 창 추정치 간 상관관계는 어느 정도인가?
• RQ2 진짜 로그우도가 열 劣한 모델도 Parzen 창 추정치 점수에서 높은 성능을 낼 수 있는가?
• RQ3 생성 샘플의 높은 시각적 정밀도가 높은 로그우도 또는 양호한 일반화를 의미하는가?
• RQ4 왜 Parzen 창 추정치는 진짜 데이터 분포를 최고의 모델로 평가하지 못하는가?
• RQ5 간단한 k-means 모델이 Parzen 창 평가에서 진짜 데이터 분포를 초월할 수 있는가?

주요 결과

• 6×6 CIFAR-10 패치에서 Parzen 창 추정치는 진짜 로그우도에 도달하기 위해 실현 불가능한 많은 수의 샘플이 필요하며, 고차원에서 수렴이 열 劣함을 시사한다.
• 노이즈가 없는 가우시안을 중심으로 한 k-means 기반 모델은 MNIST에서 313 nat의 Parzen 창 추정치를 기록하여 진짜 데이터 분포(243 nat)를 초월한다.
• GMMN+AE 모델은 진짜 데이터 분포(282 vs. 243 nat)보다 높은 Parzen 창 점수를 기록하여, Parzen 추정치가 잘못된 순위를 매길 수 있음을 보여준다.
• 로그우도 최적화(KLD)를 위한 모델은 JSD나 MMD로 최적화된 모델보다 더 이질적인 샘플을 생성함을 보여주며, 지표 간의 상충관계를 보여준다.
• 시각적 샘플 품질은 로그우도의 나쁜 대체 지표이다: 높은 엔트로피(낮은 로그우도)를 가진 모델도 여전히 시각적으로 타당한 샘플을 생성할 수 있다.
• 세 가지 주요 평가 기준—로그우도, 샘플 정밀도, Parzen 추정치—사이에 일관된 상관관계가 없으며, 고차원 환경에서 이들이 상호 독립적임을 입증한다.