[論文レビュー] Proving Test Set Contamination in Black Box Language Models

Yonatan Oren, Nicole Meister+3 more|arXiv (Cornell University)|Oct 26, 2023

Topic Modeling被引用数 5

ひとこと要約

この論文では、訓練データやモデル重みにアクセスできないブラックボックス言語モデルにおけるテストセットの汚染を、証明可能に検出する統計的検定を提示する。データセットの交換可能性を利用する手法により、標準的順序とシャッフルされた順序の間の対数尤度を比較し、1,000例の小さなデータセットや、2回程度の重複（2回の出現）でさえも高い感度を示す。偽陽性率の制御も強く保証される。

ABSTRACT

Large language models are trained on vast amounts of internet data, prompting concerns and speculation that they have memorized public benchmarks. Going from speculation to proof of contamination is challenging, as the pretraining data used by proprietary models are often not publicly accessible. We show that it is possible to provide provable guarantees of test set contamination in language models without access to pretraining data or model weights. Our approach leverages the fact that when there is no data contamination, all orderings of an exchangeable benchmark should be equally likely. In contrast, the tendency for language models to memorize example order means that a contaminated language model will find certain canonical orderings to be much more likely than others. Our test flags potential contamination whenever the likelihood of a canonically ordered benchmark dataset is significantly higher than the likelihood after shuffling the examples. We demonstrate that our procedure is sensitive enough to reliably prove test set contamination in challenging situations, including models as small as 1.4 billion parameters, on small test sets of only 1000 examples, and datasets that appear only a few times in the pretraining corpus. Using our test, we audit five popular publicly accessible language models for test set contamination and find little evidence for pervasive contamination.

研究の動機と目的

• 訓練データやモデル重みにアクセスできない状況でも、第三者による証明可能なテストセット汚染検出を提供すること。
• 既存のヒューリスティックなメンバーシップインファレンス手法における、厳密な統計的保証の欠如を是正すること。
• ベンチマークデータセットが事前学習中に数回しか出現しない場合でも、計算的に効率的かつ強力な検定を構築すること。
• モデル提供者に依存せずに独立して適用可能な手法を提供することで、広く展開された言語モデルの監査可能性を高めること。

提案手法

• ベンチマークデータセットの交換可能性という性質を利用する：汚染がなければ、データセットのすべての順序付けが等確率で発生する。
• 公開リポジトリから入手可能な標準的順序のデータセットと、同じデータセットをランダムにシャッフルしたバージョンの両方に対して、言語モデルが報告する対数尤度を比較する。
• 対数尤度の有意差を統計的仮説検定により評価し、汚染の兆候として特定する。
• データセットを小さなセグメントに分割するシャーディング手法を実装し、並列計算を可能とし、p値が小さい場合の統計的パワーを向上させる。
• 交換可能性に基づく正確な帰無分布を構築することで、偽陽性率の証明可能な制御を実現する。
• シャーディングごとの統計量を統合することで感度を向上させ、重複回数が少ない場合（例：2～10回）でも汚染を検出可能にする。

Figure 1: Given a pre-training dataset contaminated with the BoolQ (Clark et al., 2019 ) test set (left), we detect such contamination by testing for exchangability of the dataset (right). If a model has seen a benchmark dataset, it will have a preference for the canonical order (i.e. the order that

実験結果

リサーチクエスチョン

• RQ1 事前学習データやモデル重みにアクセスできない状況でも、ブラックボックス言語モデルにおけるテストセット汚染を検出可能か？
• RQ2 ベンチマークデータセットの交換可能性が、特定の例の順序の記憶（memorization）を検出するための信頼できる統計的根拠となるか？
• RQ3 ベンチマークデータセットが事前学習コーパスに数回（例：2～10回）しか出現しない場合でも、提案手法が汚染を検出可能か？
• RQ4 シャーディング手法を用いることで、モノリシックなテストと比較して統計的パワーと計算効率がどのように向上するか？
• RQ5 本手法は、実世界の公開済み言語モデルにどの程度実用的に適用可能か？

主な発見

• 1.4Bパラメータの言語モデル（Wikipediaおよびキュレート済みキャニーやデータセットで学習）において、テストセットが事前学習データにたった2回しか出現しなくても、本手法は汚染を成功裏に検出できた。
• 10回以上の重複があるデータセットでは、p値が著しく小さくなり、汚染の強い統計的証拠が得られた。
• 本手法は、たった1,000例の小さなテストセットに対しても感度が高く、重複回数が少ない状況でも高い検出力を持つことが示された。
• 4つの公開済み言語モデルに適用した結果、広範なまたは強いテストセット汚染の証拠はほとんど得られなかった。
• シャーディング手法により統計的パワーが著しく向上し、並列処理が可能になるため、実世界の展開においてスケーラブルかつ実用的であることが実証された。

Figure 2: For a model pre-trained with canary datasets injected at a duplication count of 1, 2, 4, and 7, we plot the log p-value against dataset duplication count to quantify how the test’s power depends on dataset duplication count.