[論文レビュー] Benchmark Data Contamination of Large Language Models: A Survey

Cheng Xu, Shuhao Guan+2 more|arXiv (Cornell University)|Jun 6, 2024

Privacy-Preserving Technologies in Data被引用数 6

ひとこと要約

本調査はLLM評価におけるBenchmark Data Contamination（BDC）を定義し、検出および緩和アプローチを分類し、課題と将来の方向性について論じる。

ABSTRACT

The rapid development of Large Language Models (LLMs) like GPT-4, Claude-3, and Gemini has transformed the field of natural language processing. However, it has also resulted in a significant issue known as Benchmark Data Contamination (BDC). This occurs when language models inadvertently incorporate evaluation benchmark information from their training data, leading to inaccurate or unreliable performance during the evaluation phase of the process. This paper reviews the complex challenge of BDC in LLM evaluation and explores alternative assessment methods to mitigate the risks associated with traditional benchmarks. The paper also examines challenges and future directions in mitigating BDC risks, highlighting the complexity of the issue and the need for innovative solutions to ensure the reliability of LLM evaluation in real-world applications.

研究の動機と目的

• LLMのトレーニングと評価におけるBenchmark Data Contamination（BDC）を定義する。
• BDCの検出技術と緩和戦略を調査する。
• LLM評価の健全性を向上させる際の課題・リスク・今後の方向性を明らかにする。

提案手法

• BDCを形式的に定義し、汚染の深刻さをSemantic、Information、Data、Labelのレベルに分類する。
• Matching-basedとComparison-basedアプローチに分けた検出手法を代表的な技術とともに概説する。
• Curating New Data、Refactoring Existing Data、Benchmark-free Evaluationに分けた緩和戦略を概説する。
• BDCリスクの下で、評価モダリティ（traditional benchmarking、automatic evaluation、そして human evaluation）を論じる。
• BDC緩和に関する課題を要約し、将来の研究の方向性を提案する。

実験結果

リサーチクエスチョン

• RQ1 Benchmark Data Contamination（BDC）とは何か、そしてそれはLLMのトレーニングと評価の中でどのように生じるのか？
• RQ2 BDCを識別できる検出技術は何か、そして汚染レベルの各段階でどの程度有効か？
• RQ3 現在の評価パイプラインにおいて、どの緩和戦略がBDCリスクを最も効果的に低減できるか？
• RQ4 BDC検出と緩和を実装する際の課題とトレードオフ、そして今後の研究方向は何か？

主な発見

• BDCは、テストデータがトレーニングデータへリークすると評価結果を過大評価し、従来の評価、自動評価、および人間評価に影響を与える。
• BDCの深刻度はSemanticからLabelレベルへと増大し、より高い汚染レベルで検出と緩和を困難にする。
• データセット検査、メンバーシップ推定、例生成、コンテンツ/シーケンス/年代分析を含む、さまざまな検出手法が存在する。
• 新しいデータの作成、既存データのリファクタリング、ベンチマーク不要評価の採用などの緩和アプローチは、汚染されたベンチマークへの依存を減らす。
• 自動評価は有望だがBDCリスクを完全に排除することはできない；人間評価は厳格であり続けるが、BDC下では評価者の偏見の影響を受けやすい。
• 汚染検出手法には、パラフレーズや回避的なデータ増強に対する脆弱性など、継続的な課題を浮き彫りにする。