[論文レビュー] Stop Uploading Test Data in Plain Text: Practical Strategies for Mitigating Data Contamination by Evaluation Benchmarks

Alon Jacovi, Avi Caciularu+2 more|arXiv (Cornell University)|May 17, 2023

Data Quality and Management被引用数 5

ひとこと要約

本論文は、NLP評価におけるデータ汚染を軽減するための3つの実用的戦略を提案する：公開鍵暗号によるテストデータの暗号化と非派生的ライセンスの適用、トレーニング除外保証のないクローズドAPIモデルの評価拒否、およびインターネット上で公開されたデータとその解決策を避けること。これらの措置は、誠意ある参加者を仮定した上で、収集済みコーパスやAPIベースのモデルによる汚染から評価の整合性を守ることを目的としており、実行可能な防御策を提供する。

ABSTRACT

Data contamination has become prevalent and challenging with the rise of models pretrained on large automatically-crawled corpora. For closed models, the training data becomes a trade secret, and even for open models, it is not trivial to detect contamination. Strategies such as leaderboards with hidden answers, or using test data which is guaranteed to be unseen, are expensive and become fragile with time. Assuming that all relevant actors value clean test data and will cooperate to mitigate data contamination, what can be done? We propose three strategies that can make a difference: (1) Test data made public should be encrypted with a public key and licensed to disallow derivative distribution; (2) demand training exclusion controls from closed API holders, and protect your test data by refusing to evaluate without them; (3) avoid data which appears with its solution on the internet, and release the web-page context of internet-derived data along with the data. These strategies are practical and can be effective in preventing data contamination.

研究の動機と目的

• インターネットから収集されたデータやAPI呼び出しによって訓練されたモデルが原因で、NLPベンチマークにおけるデータ汚染の問題が拡大しているのを是正すること。
• トレーニングデータが非透明で、評価データを含む可能性があるクローズドモデルにおける汚染リスクを軽減すること。
• 研究者が評価データの整合性を保つために実行可能な実用的戦略を提示すること。
• すべての参加者が誠意を持って汚染を避けるものと仮定し、技術的および手順的セーフティーメクニズムに焦点を当てる。
• 特にオープンモデルおよびクローズドモデルにおいて、研究者がテストデータの汚染リスクを評価・低減するためのフレームワークを提供すること。

提案手法

• 公開鍵暗号暗号化を用いて公開テストデータを暗号化し、自動クローリングや不正な再配布を防止する。
• 派生的著作物の再配布を明確に禁止するソフトウェアライセンスを活用し、改変または抽出されたデータの再配布を法的に制限する。
• トレーニングデータの除外保証を提供しないクローズドAPIモデルの使用を拒否することで、テストデータが将来のモデル訓練に使われるのを防ぐ。
• インターネット上で公開されたデータとその解決策を含む評価データを避ける。インターネット由来のデータを使用する場合は、ウェブコンテキストを公開してトレーサビリティを確保する。
• 汚染イベントを記録する研究用データベースの構築を提言し、モデルトレーニングデータソースの透明性を促進する。
• 汚染を検出するためのウォーターマーキング技術をメタデータや非侵襲的データコンponentsに適用する可能性を検討するが、テストデータに対してはまだ十分に検討が進んでいない。

実験結果

リサーチクエスチョン

• RQ1 公開利用可能またはAPIホスティングのモデルを使用する際、研究者がテストデータが誤ってモデルトレーニングに含まれるのをどのように防げるか？
• RQ2 信頼に依存しないで、汚染の防止に実行可能かつ強制力のあるメカニズムとして何が使えるか？
• RQ3 暗号化とライセンス戦略が、公開テストセットからモデルトレーニングデータへの漏洩をどの程度効果的に防げるか？
• RQ4 研究者がクローズドAPIに送信する評価データが、将来のモデルトレーニングに使われないことをどのように保証できるか？
• RQ5 メタデータ、トレーサビリティ、コンテキストの公開は、インターネット由来のデータセットからの汚染リスク低減にどのような役割を果たすか？

主な発見

• 本論文は、モデルがインターネットから収集したデータや、除外保証のないクローズドAPIに送信されたテストデータをトレーニングに使用する場合、NLP評価の有効性に対してデータ汚染が深刻な脅威であることを示している。
• 暗号化や制限的なライセンスが施されていない公開テストデータは、自動クローリングの対象となり、そのまま使用されなくてもトレーニングに組み込まれる可能性がある。
• 公開鍵暗号化と非派生的ライセンスの併用は、テストデータの不正な再配布や派生的使用を効果的に防ぐことができる。
• クローズドAPIプロバイダーがトレーニングデータの除外保証を提供しないモデルの評価を拒否することは、評価データの汚染を防ぐための実行可能で効果的な戦略である。
• インターネット由来のデータのウェブコンテキストを公開することで、トレーサビリティの追跡が向上し、誤った汚染のリスクが低減する。
• これらの戦略は誠意ある参加者を仮定した場合に最も効果的である。一方、データ取り扱いにおける怠慢や悪意ある行動は、これらの措置があってもデータ整合性を損なう可能性がある。