[論文レビュー] NLP Evaluation in trouble: On the Need to Measure LLM Data Contamination for each Benchmark

Oscar Sainz, Jon Ander Campos+4 more|arXiv (Cornell University)|Oct 27, 2023

Topic Modeling被引用数 6

ひとこと要約

この論文は、自然言語処理ベンチマークにおけるデータ汚染——大規模言語モデル（LLM）がテストデータを学習することによる——が、誇張された性能指標と誤った科学的結論を引き起こす可能性があると主張している。本論文は、汚染事例の検出・記録・警告を可能にするコミュニティ主導のレジストリを提唱し、自動化ツールと国際会議レベルのポリシーを組み合わせて研究の整合性を確保することを目的としている。

ABSTRACT

In this position paper, we argue that the classical evaluation on Natural Language Processing (NLP) tasks using annotated benchmarks is in trouble. The worst kind of data contamination happens when a Large Language Model (LLM) is trained on the test split of a benchmark, and then evaluated in the same benchmark. The extent of the problem is unknown, as it is not straightforward to measure. Contamination causes an overestimation of the performance of a contaminated model in a target benchmark and associated task with respect to their non-contaminated counterparts. The consequences can be very harmful, with wrong scientific conclusions being published while other correct ones are discarded. This position paper defines different levels of data contamination and argues for a community effort, including the development of automatic and semi-automatic measures to detect when data from a benchmark was exposed to a model, and suggestions for flagging papers with conclusions that are compromised by data contamination.

研究の動機と目的

• LLMがテストデータを学習することで生じるNLPベンチマークにおけるデータ汚染の深刻なリスクを明らかにすること。
• 汚染がモデルの性能を誇張し、誤った科学的主張を生じさせることを示すこと。
• LLMおよびベンチマーク全体にわたる汚染事例の系統的検出と記録を求める。
• 自動検出と国際会議レベルでの汚染研究のフラグ制度を含む、コミュニティ全体のメカニズムを提唱すること。
• ベンチマークのテストセットに学習されたモデルに依存しないように、NLP評価の整合性を保証すること。

提案手法

• 汚染の深刻度を評価するための多段階汚染分類システムを提案すること。
• LLM、ベンチマーク、根拠を明記した既知の汚染事例を記録する公開レジストリ（例：LM Contamination Index）を構築すること。
• LLMの記憶特性を利用して、テストセットの正確なインスタンスが再現されているかどうかを検出すること。
• プロンプトベースのテストを適用し、LLMがベンチマーク例（例：CoNLL-2003、GSM-8K）を再生成するかを引き出すこと。
• 国際会議と協力し、汚染されたモデルに依存する論文をフラグまたは却下するポリシーを実施すること。
• 汚染の証拠を検証するための準自動および手動の検証プロセスを統合すること。

実験結果

リサーチクエスチョン

• RQ1 一般的に使用されるNLPベンチマークは、LLMの事前学習データによってどの程度汚染されているか？
• RQ2 データ汚染は、NLPにおけるモデル性能評価の信頼性にどのように影響を与えるか？
• RQ3 LLMおよびベンチマーク全体にわたる汚染事例を検出・記録するためのメカニズムは、どのように開発できるか？
• RQ4 NLPコミュニティは、モデルのデータ漏洩によって科学的結論が無効化されないよう、どのように対処すべきか？
• RQ5 汚染されたモデルに依存する研究結果の出版を防ぐために、どのような制度的措置が必要か？

主な発見

• ChatGPT、WizardCoder、GitHub Copilotは、CoNLL-2003のテストセットの最初の行をBIO形式そのままで完全に再生成でき、ベンチマークデータの直接的記憶が示唆された。
• GPT-3、GPT-4、その他のLLMは、訓練データにベンチマークのテストセットの一部（例：BIG-bench、GSM-8K、MATH）が含まれていることが確認された。
• 汚染されたベンチマークで評価されたモデルの性能は誇張されており、誤った比較を引き起こしている。
• ACL 2023で発表された論文の一部は、GPT-3やCodexをCoNLL-2003で評価しており、その結論の妥当性に懸念が呈された。
• LM Contamination Indexが公開レジストリとして確立され、汚染事例の追跡と記録が可能になった。
• 検出メカニズムがなければ、汚染リスクが科学的厳密性を損ない、無効な研究主張の出版を招くことになる。