[论文解读] MAUVE Scores for Generative Models: Theory and Practice

Krishna Pillutla, Lang Liu+7 more|arXiv (Cornell University)|Dec 30, 2022

Generative Adversarial Networks and Image Synthesis被引用 5

一句话总结

本文提出了 Mauve，一种用于通过总结真实数据分布与生成数据分布之间的 f-散度前沿来评估生成模型的统计分歧度量家族。它提出了三种估计方法——向量量化、最近邻和分类——并提供了理论边界，且在文本和图像生成任务中均显示出与人类判断的高度相关性。

ABSTRACT

Generative artificial intelligence has made significant strides, producing text indistinguishable from human prose and remarkably photorealistic images. Automatically measuring how close the generated data distribution is to the target distribution is central to diagnosing existing models and developing better ones. We present MAUVE, a family of comparison measures between pairs of distributions such as those encountered in the generative modeling of text or images. These scores are statistical summaries of divergence frontiers capturing two types of errors in generative modeling. We explore three approaches to statistically estimate these scores: vector quantization, non-parametric estimation, and classifier-based estimation. We provide statistical bounds for the vector quantization approach. Empirically, we find that the proposed scores paired with a range of $f$-divergences and statistical estimation methods can quantify the gaps between the distributions of human-written text and those of modern neural language models by correlating with human judgments and identifying known properties of the generated texts. We demonstrate in the vision domain that MAUVE can identify known properties of generated images on par with or better than existing metrics. In conclusion, we present practical recommendations for using MAUVE effectively with language and image modalities.

研究动机与目标

• 为解决生成模型评估的挑战，通过量化真实数据与生成数据分布之间的差异来实现。
• 形式化一种系统性方法，用于度量生成建模中的两类关键错误：分布外样本和真实数据模式的缺失。
• 开发一组可解释且可扩展的度量——Mauve 分数——用于总结文本和图像生成的分歧前沿。
• 提供具有理论保证且适用于 NLP 和视觉领域实际部署的统计估计方法。

提出的方法

• 将 Mauve 分数定义为 f-散度前沿的标量汇总，捕捉两类建模错误之间的权衡。
• 使用向量量化对潜在表示进行离散化，并利用统计边界估计分歧前沿。
• 通过非参数最近邻估计方法，利用局部密度比近似 f-散度。
• 通过在真实样本与生成样本之间进行二分类的分类器方法估计分歧度量。
• 推导出向量量化和基于平滑方法的统计误差边界。
• 将 Mauve 分数与多种 f-散度（如 KL、JS）及嵌入空间结合，以跨模态评估模型质量。

实验结果

研究问题

• RQ1 如何将分歧前沿有效总结为单一、可解释的度量，以评估生成模型？
• RQ2 不同估计方法（向量量化、最近邻、分类）在 Mauve 分数上的统计特性与误差边界是什么？
• RQ3 Mauve 分数在多大程度上与人类对文本质量与真实感的判断相关？
• RQ4 Mauve 分数如何检测文本和图像生成中的已知失败模式，如重复或分布偏移？
• RQ5 在实际模型评估流水线中部署 Mauve 时，最优配置与实用建议是什么？

主要发现

• Mauve 分数在多个评估任务中与人类判断表现出强相关性，尤其在按规模和解码策略对模型质量进行排序方面表现突出。
• 向量量化方法实现了紧密的统计误差边界，并在温和正则性条件下具备收敛性的理论保证。
• 在纯采样设置下，GPT-2 small 表现优于 GPT-2 medium，这一细微差别被 Mauve 捕获，但通常未被标准度量反映。
• Mauve 在图像生成模型中有效识别出分布差距，性能与现有度量（如 FID 和 LPIPS）相当或更优。
• 该方法在结合 f-散度时，能有效检测文本和图像生成中的模式崩溃与分布偏移。
• 基于分类器的估计方法为非参数方法提供了稳健且可扩展的替代方案，尤其适用于高维潜在空间。