[论文解读] A note on the evaluation of generative models

Lucas Theis, Aäron van den Oord+1 more|arXiv (Cornell University)|Nov 5, 2015

Generative Adversarial Networks and Image Synthesis参考文献 32被引用 435

一句话总结

本文批判了生成图像模型中常见的评估指标，表明在高维数据中，对数似然、视觉样本质量和Parzen窗估计值在很大程度上是相互独立的。研究显示，高似然度并不意味着生成样本质量好，反之亦然，并警告称Parzen窗估计可能将表现较差的模型排在真实数据分布之前。

ABSTRACT

Probabilistic generative models can be used for compression, denoising, inpainting, texture synthesis, semi-supervised learning, unsupervised feature learning, and other tasks. Given this wide range of applications, it is not surprising that a lot of heterogeneity exists in the way these models are formulated, trained, and evaluated. As a consequence, direct comparison between models is often difficult. This article reviews mostly known but often underappreciated properties relating to the evaluation and interpretation of generative models with a focus on image models. In particular, we show that three of the currently most commonly used criteria---average log-likelihood, Parzen window estimates, and visual fidelity of samples---are largely independent of each other when the data is high-dimensional. Good performance with respect to one criterion therefore need not imply good performance with respect to the other criteria. Our results show that extrapolation from one criterion to another is not warranted and generative models need to be evaluated directly with respect to the application(s) they were intended for. In addition, we provide examples demonstrating that Parzen window estimates should generally be avoided.

研究动机与目标

• 揭示在高维数据中，生成模型关键评估指标之间缺乏相关性。
• 挑战‘良好样本质量意味着高似然度’或反之亦然的假设。
• 证明Parzen窗估计不可靠，且可能偏好真实似然度较低的模型。
• 主张不应将Parzen窗估计作为生成建模中模型评估的代理指标。
• 强调评估必须与实际应用场景一致，而非依赖代理指标。

提出的方法

• 作者使用合成数据和真实图像数据（如CIFAR-10和MNIST）分析对数似然、生成样本的视觉保真度与Parzen窗估计之间的关系。
• 通过在高斯混合模型上训练不同目标函数（Kullback-Leibler散度、MMD和JSD）的模型，说明其优化行为存在显著差异。
• 在CIFAR-10中对小图像块（6×6）计算Parzen窗估计，以评估其收敛性与相对于真实对数似然的偏差。
• 构建一种基于k-means的模型，使用零噪声高斯分布，其均值位于聚类中心，以测试Parzen估计的鲁棒性。
• 在MNIST上使用Parzen窗估计评估多种模型（包括GAN、VAE和自回归模型）的性能。
• 本研究结合理论分析与实证实验，表明样本质量与Parzen估计等指标与真实似然度之间并无相关性。

实验结果

研究问题

• RQ1 在高维图像数据中，对数似然、视觉样本质量与Parzen窗估计值之间的相关性有多大？
• RQ2 一个真实对数似然度较低的模型是否仍能获得较高的Parzen窗估计得分？
• RQ3 生成样本的高视觉保真度是否意味着高对数似然度或良好的泛化能力？
• RQ4 为何Parzen窗估计无法将真实数据分布正确排在最佳模型位置？
• RQ5 一个简单的k-means模型是否可能在Parzen窗评估中超过真实数据分布？

主要发现

• 在CIFAR-10的6×6图像块上，Parzen窗估计需要极大量的样本才能接近真实对数似然，表明在高维空间中收敛性极差。
• 基于k-means的零噪声高斯模型在MNIST上的Parzen窗估计得分为313 nat，优于真实数据分布的243 nat。
• GMMN+AE模型的Parzen窗得分（282 nat）高于真实数据分布（243 nat），表明Parzen估计可能错误地对模型进行排名。
• 以对数似然为目标优化的模型（KLD）生成的样本比以JSD或MMD为目标优化的模型更不典型，显示出不同指标间的权衡。
• 视觉样本质量无法作为对数似然的可靠代理：高熵（低似然）的模型仍可生成视觉上合理的样本。
• 在高维设置下，三个主要评估标准——对数似然、样本保真度与Parzen估计——之间不存在一致的相关性，凸显了它们的独立性。