[論文レビュー] A Survey on Data Contamination for Large Language Models

Y.-H. Cheng, Yi Kuo Chang+1 more|ArXiv.org|Feb 20, 2025

Privacy-Preserving Technologies in Data被引用数 5

ひとこと要約

この調査はLLMにおけるデータ汚染を定義し、汚染なし評価法（データ更新、データ書き換え、予防、動的評価、LLMベースの評価者）をレビューし、検出アプローチ（ホワイトボックス、グレーボックス、ブラックボックス）と今後の方向性を要約する。

ABSTRACT

Recent advancements in Large Language Models (LLMs) have demonstrated significant progress in various areas, such as text generation and code synthesis. However, the reliability of performance evaluation has come under scrutiny due to data contamination-the unintended overlap between training and test datasets. This overlap has the potential to artificially inflate model performance, as LLMs are typically trained on extensive datasets scraped from publicly available sources. These datasets often inadvertently overlap with the benchmarks used for evaluation, leading to an overestimation of the models' true generalization capabilities. In this paper, we first examine the definition and impacts of data contamination. Secondly, we review methods for contamination-free evaluation, focusing on three strategies: data updating-based methods, data rewriting-based methods, and prevention-based methods. Specifically, we highlight dynamic benchmarks and LLM-driven evaluation methods. Finally, we categorize contamination detecting methods based on model information dependency: white-Box, gray-Box, and black-Box detection approaches. Our survey highlights the requirements for more rigorous evaluation protocols and proposes future directions for addressing data contamination challenges.

研究の動機と目的

• データ汚染とそのライフサイクルおよびLLMにおけるベンチマークベースの現れを定義する。
• 汚染なし評価戦略と堅牢なベンチマーキングのための動的評価フレームワークを調査する。
• ホワイトボックス、グレーボックス、ブラックボックスのパラダイムにまたがるデータ汚染検出手法を検討する。
• LLM研究におけるデータ汚染を緩和するための課題、未解決の問い、今後の方向性を明らかにする。

提案手法

• インスタンスレベルおよびデータセットレベルの汚染を、位相ベースおよびベンチマークベースの分類で定義する。
• 汚染なし評価戦略を分類・記述する：データ更新、データ書換え、予防的手法、動的評価、LLMを評価者として用いる方法。
• 汚染検出アプローチをホワイトボックス、グレーボックス、ブラックボックスに分類し、特定の技術への言及を含める。
• LLMのアンラーニング、ブラックボックス検出の強化、コミュニティ主導の非ベンチマーク評価を含む将来の方向性を統合する。

実験結果

リサーチクエスチョン

• RQ1 LLMsにおけるライフサイクルの各段階およびベンチマークに跨るデータ汚染とは何か。
• RQ2 静的および動的ベンチマークに対して汚染なし評価を達成するための戦略は何か。
• RQ3 データ汚染はどう検出できるか、各検出パラダイムの限界は何か。
• RQ4 汚染を緩和し評価の信頼性を向上させる主要な将来の研究方向は何か。

主な発見

• データ汚染は、位相ベースおよびベンチマークベースの次元にわたり、モデルの性能を過大評価させ、評価の妥当性を脅かす。
• 汚染なし評価は、データ更新、データ書換え、予防法、動的評価、LLMを評価者として用いる方法で達成できる。
• 検出手法はホワイトボックス、グレーボックス、ブラックボックスに分類され、それぞれ異なる仮定と限界を持つ。
• 汚染リスクに対処するため、動的評価と継続的ベンチマーキングをコミュニティ標準として推奨する。
• LLMのアンラーニング、より強力なブラックボックス検出、汚染と汎化の区別を明確にすることが重要な将来の方向性。