[论文解读] Data Contamination Quiz: A Tool to Detect and Estimate Contamination in Large Language Models

Shahriar Golchin, Mihai Surdeanu|arXiv (Cornell University)|Nov 10, 2023

Topic Modeling被引用 4

一句话总结

该论文提出了数据污染检测问卷（DCQ），一种新颖的黑盒方法，通过将污染检测问题转化为多项选择阅读理解任务，来检测并估计大语言模型（LLMs）中的数据污染。通过生成数据集实例的三个词级扰动变体并加入“无”选项，DCQ利用大语言模型的记忆能力识别其对训练数据的暴露情况——在无需访问模型权重或预训练数据的情况下，实现的污染估计值最高可达先前最先进方法的80倍。

ABSTRACT

We propose the Data Contamination Quiz (DCQ), a simple and effective approach to detect data contamination in large language models (LLMs) and estimate the amount of it. Specifically, we frame data contamination detection as a series of multiple-choice questions, devising a quiz format wherein three perturbed versions of each instance, subsampled from a specific dataset partition, are created. These changes only include word-level perturbations. The generated perturbations, along with the original dataset instance, form the options in the DCQ, with an extra option accommodating the selection of none of the provided options. Given that the only distinguishing signal among the options is the exact wording with respect to the original dataset instance, an LLM, when tasked with identifying the original dataset instance, gravitates towards selecting the original one if it has been exposed to it. While accounting for positional biases in LLMs, the quiz performance reveals the contamination level for the tested model with the dataset partition to which the quiz pertains. Applied to various datasets and LLMs, under controlled and uncontrolled contamination, our findings, while fully lacking access to training data and model parameters, suggest that DCQ achieves state-of-the-art results and uncovers greater contamination levels through memorization compared to existing methods. Also, it proficiently bypasses more safety filters, especially those set to avoid generating copyrighted content.

研究动机与目标

• 解决缺乏有效、可扩展的方法来检测黑盒大语言模型中的数据污染，且无需访问预训练数据或模型权重的问题。
• 开发一种能够量化污染程度而非仅检测其存在与否的技术。
• 克服现有方法的局限性，包括对安全过滤机制的敏感性以及因大语言模型中位置偏差导致的高估问题。
• 创建一种实用且低资源的解决方案，用于评估大语言模型在实际部署中的鲁棒性与公平性。

提出的方法

• 为每个数据集实例设计一个五选一的多项选择测验：一个原始样本，三个使用语境相关同义词进行词级扰动的变体，以及一个“无”选项。
• 使用零样本提示（zero-shot prompting）结合GPT-4生成扰动变体，确保语义相似性的同时改变词汇形式。
• 通过测量大语言模型在识别原始样本中的表现，作为其记忆能力与数据污染的指标。
• 系统性地轮换原始样本在选项中的位置，以减轻位置偏差的影响，并将最高性能结果报告为污染估计值。
• 采用多次轮换中取得的最高准确率作为鲁棒的污染估计值，以应对大语言模型的位置偏好问题。
• 通过与基于复制的先前方法进行互检验证，确认结果的一致性与更高的检测灵敏度。

实验结果

研究问题

• RQ1 在不访问模型权重或预训练数据的情况下，多项选择阅读理解任务能否有效检测黑盒大语言模型中的数据污染？
• RQ2 DCQ方法在检测灵敏度与估计准确性方面，相较于最先进污染检测技术表现如何？
• RQ3 DCQ在多大程度上能够绕过旨在防止生成受版权保护或记忆内容的安全过滤机制？
• RQ4 该方法在面对大语言模型固有的位置偏差时是否依然稳健？在实践中如何加以缓解？
• RQ5 在真实世界中未经控制的数据集（其真实污染水平未知）中，DCQ能否检测到污染？

主要发现

• 即使在未访问预训练数据的情况下，DCQ检测到的污染水平最高可达Golchin & Surdeanu（2023）提出的最先进方法的80倍。
• 在受控环境中，DCQ的污染估计值与OpenAI报告的数据高度一致，但揭示了更高的污染水平，尤其在GSM8k等高影响力基准上表现显著。
• 对于真实世界数据集WNLI和XSum，DCQ分别检测到高达50.70%和95.00%的污染率，证明了其在多样化领域中的检测能力。
• 该方法成功绕过了旨在阻止受版权内容生成的安全过滤机制，表明其对常见缓解策略具有抗性。
• 与基于复制的方法进行互检验证显示完全一致，证实了DCQ的可靠性及其在检测记忆化现象方面的更高灵敏度。
• 在污染估计方面，DCQ优于基于提取与基于复制的方法，尤其在低至中等污染场景下，其他方法完全无法检测到污染时，DCQ仍能有效识别。