[论文解读] A non-parametric test to detect data-copying in generative models

Casey Meehan, Kamalika Chaudhuri+1 more|arXiv (Cornell University)|Apr 12, 2020

Artificial Intelligence in Games被引用 11

一句话总结

本文提出了一种非参数的三样本检验方法，用于检测生成模型中的数据复制行为——即模型记忆并重现训练样本或其微小变体的行为。该方法利用训练集、目标分布样本和模型生成样本，无需参数假设即可识别记忆现象，并在多种模型和数据集上展现出强大的检测性能。

ABSTRACT

Detecting overfitting in generative models is an important challenge in machine learning. In this work, we formalize a form of overfitting that we call {\em{data-copying}} -- where the generative model memorizes and outputs training samples or small variations thereof. We provide a three sample non-parametric test for detecting data-copying that uses the training set, a separate sample from the target distribution, and a generated sample from the model, and study the performance of our test on several canonical models and datasets. For code \& examples, visit this https URL

研究动机与目标

• 将数据复制形式化并定义为生成模型中过拟合的一种特定形式。
• 解决检测模型对训练样本或其微小变体记忆化的挑战。
• 开发一种不依赖于模型特定假设的非参数三样本检验方法。
• 在多种经典模型和数据集上评估该检验方法的有效性。

提出的方法

• 该检验使用三个输入：训练集、目标分布的独立样本，以及模型生成的样本。
• 基于样本间距离的相对排序，应用一种非参数统计检验。
• 通过比较生成样本到训练样本和目标样本的距离，检测异常相似性。
• 通过依赖基于秩的统计量和置换检验，避免参数假设。
• 该检验设计为与模型无关，适用于任何生成模型。
• 通过在多个基准模型和数据集上的实证评估验证了该方法的流程。

实验结果

研究问题

• RQ1 一种非参数检验是否能在不假设模型结构的前提下可靠检测生成模型中的数据复制？
• RQ2 三样本检验在识别记忆样本或其变体方面效果如何？
• RQ3 该检验在不同模型和数据集上是否保持高统计效能？
• RQ4 在不同记忆程度和数据分布偏移条件下，该检验表现如何？

主要发现

• 所提出的检验方法在多个基准数据集和模型架构上成功检测出生成模型中的数据复制行为。
• 即使记忆行为细微或仅限于训练样本的微小变体，该方法仍能实现高检测效能。
• 该检验在不同类型的模型（包括 GAN、VAE 和自回归模型）中均保持稳健。
• 实证结果表明，该检验在检测记忆行为方面优于基线方法，且无需进行模型特异性调优。
• 该检验在多种数据分布下表现一致，表明其具备良好的泛化能力。
• 该方法可在不访问模型内部结构或参数假设的前提下，实现对记忆行为的可靠检测。