[论文解读] Data Contamination Through the Lens of Time

Manley Roberts, Himanshu Thakur+3 more|arXiv (Cornell University)|Oct 16, 2023

Topic ModelingComputer Science被引用 3

一句话总结

本论文通过利用 GPT-4 和 GPT-3.5-Turbo 的已知训练截止日期，首次对大规模语言模型（LLMs）中的数据污染现象进行了纵向分析。基于 Codeforces 和 Project Euler——两个具有时间序列特征的编程基准测试——研究发现，仅在截止日期前的问题中，GitHub 流行度与模型通过率之间存在显著的统计相关性，为数据污染提供了强有力的实证证据。作者开源了其数据集和评估框架，以支持未来基准测试中严谨且可复现的污染分析。

ABSTRACT

Recent claims about the impressive abilities of large language models (LLMs) are often supported by evaluating publicly available benchmarks. Since LLMs train on wide swaths of the internet, this practice raises concerns of data contamination, i.e., evaluating on examples that are explicitly or implicitly included in the training data. Data contamination remains notoriously challenging to measure and mitigate, even with partial attempts like controlled experimentation of training data, canary strings, or embedding similarities. In this work, we conduct the first thorough longitudinal analysis of data contamination in LLMs by using the natural experiment of training cutoffs in GPT models to look at benchmarks released over time. Specifically, we consider two code/mathematical problem-solving datasets, Codeforces and Project Euler, and find statistically significant trends among LLM pass rate vs. GitHub popularity and release date that provide strong evidence of contamination. By open-sourcing our dataset, raw results, and evaluation framework, our work paves the way for rigorous analyses of data contamination in modern models. We conclude with a discussion of best practices and future steps for publicly releasing benchmarks in the age of LLMs that train on webscale data.

研究动机与目标

• 调查数据污染是否会影响 LLM 在 Codeforces 和 Project Euler 等纵向编程基准测试中的表现。
• 通过利用 GPT-4 和 GPT-3.5-Turbo 的已知训练截止日期作为自然实验分割点，衡量污染的程度。
• 通过分析随时间有序发布的问题的模型表现趋势，提供污染的实证证据。
• 通过识别网络规模 LLM 训练数据对公共基准发布带来的风险，推动公共基准发布的最佳实践。
• 通过开源数据集、评估代码和结果，实现可复现的污染分析。

提出的方法

• 利用 GPT-4 和 GPT-3.5-Turbo 的已知训练截止日期，将基准测试问题划分为截止日前（可能已见过）和截止日后（可能未见过）两组。
• 从 Codeforces（2010–2023）和 Project Euler（2001–2023）构建纵向数据集，追踪问题发布日期和 GitHub 上的存在情况。
• 采用回归模型分析问题特征（如 GitHub 流行度、难度）与 LLM 表现指标（通过率、标题/标签重现率）之间的关系。
• 通过测试用例通过率以及标题和标签的语义重现率来衡量模型表现，以检测记忆化和污染效应。
• 应用统计推断，检测截止日前后表现趋势之间的显著差异。
• 在数据集许可约束下，开源完整的评估框架、原始结果和数据集构建流程。

实验结果

研究问题

• RQ1 在模型训练截止日前后发布的题目上进行评估时，LLM 的表现是否存在统计上显著的差异？
• RQ2 对于截止日前的问题，若题目在 GitHub 上存在，是否与 LLM 通过率更高相关，从而表明存在污染？
• RQ3 LLM 对截止日前发布的题目，其标题和标签的重现准确率是否显著高于截止日后的问题？
• RQ4 模型表现是否随题目难度和发布日期而变化？这种变化是否因模型而异（GPT-4 与 GPT-3.5-Turbo）？
• RQ5 在大规模网络训练 LLM 的时代，污染对公共基准有效性有何影响？

主要发现

• GPT-4 仅在截止日前的 Codeforces 问题中，表现出 GitHub 存在与通过率之间的显著正相关（p = 0.010），表明存在污染。
• 在截止日前期间，GitHub 存在的系数为 1.010（95% 置信区间：[0.994, 1.026]），表明存在轻微但显著的污染效应。
• GPT-3.5-Turbo 在截止日前后两个时期均未表现出 GitHub 存在与通过率之间的显著关联（p = 0.506 和 p = 0.216 分别）。
• 在 Project Euler 数据集中，GPT-4 在截止日前期间表现出难度与标题重现之间的显著负相关（p = 0.00001），表明可能存在记忆化或污染效应。
• 对于两个模型，GitHub 存在对标题重现的边际效应在截止日后期间均不显著，表明污染在截止日后不存在或无法检测到。
• 在 Project Euler 上，GPT-3.5-Turbo 未发现污染证据，因为其在截止日前期间的 GitHub 存在系数为 0.981（p = 0.696）。