[论文解读] How Faithful is your Synthetic Data? Sample-level Metrics for Evaluating and Auditing Generative Models

Ahmed M. Alaa, Boris van Breugel+2 more|arXiv (Cornell University)|Feb 17, 2021

Scientific Computing and Data Management被引用 34

一句话总结

引入 alpha-Precision、beta-Recall 和 Authenticity 作为一个三维的样本层度量，用以在跨领域评估生成模型的保真度、多样性和泛化性，以及一个模型审计的用例。

ABSTRACT

Devising domain- and model-agnostic evaluation metrics for generative models is an important and as yet unresolved problem. Most existing metrics, which were tailored solely to the image synthesis setup, exhibit a limited capacity for diagnosing the different modes of failure of generative models across broader application domains. In this paper, we introduce a 3-dimensional evaluation metric, ($\\alpha$-Precision, $\\beta$-Recall, Authenticity), that characterizes the fidelity, diversity and generalization performance of any generative model in a domain-agnostic fashion. Our metric unifies statistical divergence measures with precision-recall analysis, enabling sample- and distribution-level diagnoses of model fidelity and diversity. We introduce generalization as an additional, independent dimension (to the fidelity-diversity trade-off) that quantifies the extent to which a model copies training data -- a crucial performance indicator when modeling sensitive data with requirements on privacy. The three metric components correspond to (interpretable) probabilistic quantities, and are estimated via sample-level binary classification. The sample-level nature of our metric inspires a novel use case which we call model auditing, wherein we judge the quality of individual samples generated by a (black-box) model, discarding low-quality samples and hence improving the overall model performance in a post-hoc manner.

研究动机与目标

• 提供跨领域、对模型无关的评估生成模型的度量，超越仅限图像的衡量标准。
• 量化合成数据的三种特性：保真度、多样性和泛化性。
• 实现样本级诊断并引入新颖的模型审计用例，以事后方式提升合成数据质量。
• 提供一个实用的嵌入和假设检验框架，用以在跨领域估计这些度量。

提出的方法

• 将 alpha-Precision 定义为一个合成样本落在真实数据的 alpha-支持集中的概率。
• 将 beta-Recall 定义为一个真实样本落在合成数据的 beta-支持集中的概率。
• 将 Authenticity 定义为一个合成样本不是记忆化的训练数据副本的概率，通过含有噪声分量的混合模型来建模。
• 通过一个模型驱动的评估嵌入将真实数据与合成数据嵌入，映射到一个高维球面以估计 alpha- 和 beta-子集。
• 基于嵌入表示，使用三个分类器来估计样本级分数，分别对应 precision、recall 和 authenticity。
• 提供一个事后审计工作流程，以丢弃低质量样本、从而整理出更高质量的合成数据。

实验结果

研究问题

• RQ1 一个域无关、模型无关的样本级度量是否能够同时捕捉生成模型的保真度、多样性和泛化性？
• RQ2 alpha-Precision、beta-Recall 和 Authenticity 是否提供超越传统分布层度量的有意义、可解释的诊断？
• RQ3 使用这些度量进行模型审计在以合成数据训练时是否能提升下游预测性能？
• RQ4 在现实世界的敏感数据场景（如临床 COVID-19 数据）以及多模态简易基准如 MNIST 中，所提出的度量表现如何？

主要发现

• alpha-Precision 和 beta-Recall 曲线揭示在不同密度水平下的保真度和多样性，解决模式崩溃和模式创造等问题。
• 综合度量 IP_alpha 和 IR_beta 与真实模型质量相关，并且在对生成模型的排序上可能优于标准的 P1/R1 以及其他基于分布的度量。
• Authenticity通过区分新颖样本与记忆化的训练数据来捕捉泛化能力，从而实现隐私感知的评估。
• 使用样本级分数进行模型审计提升下游预测性能，通过对合成数据进行审计后在 COVID-19 死亡率预测中展示了 AUC 的提升。
• 框架通过在 MNIST 上显示 IR_beta 下降而 IP_alpha 仍保持稳健，来检测模式丢失，突出其诊断特定故障模式的能力。