[论文解读] Improved Precision and Recall Metric for Assessing Generative Models

Tuomas Kynkäänniemi, Tero Karras+3 more|arXiv (Cornell University)|Apr 15, 2019

Generative Adversarial Networks and Image Synthesis参考文献 30被引用 250

一句话总结

引入一种改进的精确度-召回率度量，利用特征空间中的非参数流形估计分别评估生成样本的质量和覆盖度，展示在 StyleGAN 和 BigGAN 上相对于 FID 与 Sajjadi 等方法的优势。

ABSTRACT

The ability to automatically estimate the quality and coverage of the samples produced by a generative model is a vital requirement for driving algorithm research. We present an evaluation metric that can separately and reliably measure both of these aspects in image generation tasks by forming explicit, non-parametric representations of the manifolds of real and generated data. We demonstrate the effectiveness of our metric in StyleGAN and BigGAN by providing several illustrative examples where existing metrics yield uninformative or contradictory results. Furthermore, we analyze multiple design variants of StyleGAN to better understand the relationships between the model architecture, training methods, and the properties of the resulting sample distribution. In the process, we identify new variants that improve the state-of-the-art. We also perform the first principled analysis of truncation methods and identify an improved method. Finally, we extend our metric to estimate the perceptual quality of individual samples, and use this to study latent space interpolations.

研究动机与目标

• 在生成模型中需分开评估样本质量与多样性。
• 提出一个基于特征空间流形估计的健壮非参数精确度-召回率度量。
• 表明该度量相比 FID 和早期 PR 方法提供更清晰、可解释的权衡。
• 将该度量应用于 StyleGAN 和 BigGAN，以分析设计选择与截断方法。
• 扩展该度量以评估单样本真实感并研究潜在空间的线性插值。

提出的方法

• 将真实图像和生成图像嵌入到一个预训练的特征空间中（例如 VGG-16 的激活值）。
• 通过在样本周围建立基于 k 最近邻的超球来估计真实与生成样本的流形（使用到第 k 最近邻的距离）。
• 定义一个二元成员函数，用于判定样本是否落在某个流形内，从而实现精确度和召回率的计算（方程1–2）。
• 将精确度定义为落在真实流形估计内的生成样本所占比例，召回率定义为落在生成流形估计内的真实样本所占比例。
• 默认使用 k=3 且设定为 50k 样本的配置，实验表明对特征选择（VGG-16 与 Inception-v3）具有鲁棒性。
• 扩展该方法以为单个样本生成连续的真实感分数（方程3），并裁剪极端超球以提高稳定性。

实验结果

研究问题

• RQ1 是否可以使用显式的非参数流形表示来分别估计生成模型的精确度和召回率？
• RQ2 在不同训练和截断配置下，最前沿模型（StyleGAN、BigGAN）如何在精确度和召回率之间取得平衡？
• RQ3 在评估模型设计与截断方法时，精确度和召回率是否提供比 FID 或先前 PR 指标更具信息量的诊断？
• RQ4 单样本真实感分数和插值分析是否能揭示潜在空间特性并指引改进？
• RQ5 从精确度-召回率权衡的帕累托前沿分析中，可以获得关于 StyleGAN 架构和训练配置的哪些可操作性洞见？

主要发现

• 提出的度量将质量和覆盖分离，揭示了 FID 和先前 PR 指标所掩盖的权衡。
• 对于 StyleGAN 和 BigGAN，该度量与截断和架构变体下的感知图像质量与变化保持一致。
• Sajjadi 等方法往往高估了精确度和召回率，并未捕捉到截断下的预期变化，而新度量反映了直观的质量-变化权衡。
• 对 StyleGAN 配置的帕累托前沿分析显示，架构选择（如小批量标准差、正则化、随机平移）使精确度-召回率的平衡偏向的方式与 FID 不同。
• 该方法在特征空间（VGG-16、Inception-v3）下保持鲁棒，并随着样本数量增加呈现与 FID 相似的扩展性。
• 单样本真实感分数提供了连续的图像真实感度量，有助于评估潜在空间插值和 W 的路径凸性。