[논문 리뷰] Proving Test Set Contamination in Black Box Language Models

Yonatan Oren, Nicole Meister외 3명|arXiv (Cornell University)|2023. 10. 26.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 훈련 데이터 또는 모델 가중치에 접근할 수 없음에도 불구하고, 블랙박스 언어 모델에서 테스트 세트 오염을 증명 가능하게 탐지하기 위한 통계적 검정을 제안한다. 데이터셋의 교환 가능성(exchangeability)을 활용하여, 표준 순서와 무작위로 섞은 예시 순서의 로그 확률을 비교함으로써, 작은 데이터셋(1,000개 예시)과 낮은 중복 수(최소 2회 발생)에서도 높은 감도를 보이며, 거짓 긍정률 제어가 강력하게 이루어진다.

ABSTRACT

Large language models are trained on vast amounts of internet data, prompting concerns and speculation that they have memorized public benchmarks. Going from speculation to proof of contamination is challenging, as the pretraining data used by proprietary models are often not publicly accessible. We show that it is possible to provide provable guarantees of test set contamination in language models without access to pretraining data or model weights. Our approach leverages the fact that when there is no data contamination, all orderings of an exchangeable benchmark should be equally likely. In contrast, the tendency for language models to memorize example order means that a contaminated language model will find certain canonical orderings to be much more likely than others. Our test flags potential contamination whenever the likelihood of a canonically ordered benchmark dataset is significantly higher than the likelihood after shuffling the examples. We demonstrate that our procedure is sensitive enough to reliably prove test set contamination in challenging situations, including models as small as 1.4 billion parameters, on small test sets of only 1000 examples, and datasets that appear only a few times in the pretraining corpus. Using our test, we audit five popular publicly accessible language models for test set contamination and find little evidence for pervasive contamination.

연구 동기 및 목표

• 사전학습 데이터나 모델 가중치에 접근할 수 없음에도 불구하고, 기업 소유의 언어 모델에서 테스트 세트 오염을 증명 가능하고 제3자에 의한 검증이 가능한 방법을 제공하기 위해.
• 기존의 히우리스틱 멤버십 인퍼런스 방법에서 오염 탐지에 대한 엄밀한 통계적 보장을 부족하게 다루고 있는 문제를 해결하기 위해.
• 사전학습 과정에서 벤치마크 데이터셋이 몇 번만 나타나도 작동하는 계산적으로 효율적이고 강력한 검정을 개발하기 위해.
• 모델 제공자와 독립적으로 적용 가능한 방법을 제공함으로써 널리 배포된 언어 모델의 감사 가능성을 높이기 위해.

제안 방법

• 벤치마크 데이터셋의 교환 가능성 성질을 활용: 오염이 없을 경우, 데이터셋의 모든 순서가 동일한 확률을 가져야 한다.
• 공개 리포지터리에서 제공하는 표준 데이터셋 순서의 언어 모델 로그 확률을, 동일한 데이터셋의 무작위로 섞인 버전의 로그 확률과 비교한다.
• 통계적 가설 검정을 통해 로그 확률의 유의미한 차이를 오염의 증거로 표시한다.
• 데이터셋을 더 작은 세그먼트로 나누어 병렬 처리를 가능하게 하고 통계적 검정력을 향상시키는 스파티드 테스트를 구현한다.
• 교환 가능성에 기반한 정확한 귀무분포를 구성함으로써 거짓 긍정률 제어를 증명 가능하게 한다.
• 세그먼트 간 테스트 통계량을 집계하여 낮은 중복 수(예: 2~10회)에서도 오염를 감지할 수 있도록 감도를 향상시킨다.

Figure 1: Given a pre-training dataset contaminated with the BoolQ (Clark et al., 2019 ) test set (left), we detect such contamination by testing for exchangability of the dataset (right). If a model has seen a benchmark dataset, it will have a preference for the canonical order (i.e. the order that

실험 결과

연구 질문

• RQ1 사전학습 데이터나 모델 가중치에 접근할 수 없이도, 블랙박스 언어 모델에서 테스트 세트 오염을 탐지할 수 있는가?
• RQ2 벤치마크 데이터셋의 교환 가능성은 특정 예시 순서의 기억 현상을 탐지하기 위한 신뢰할 수 있는 통계적 기반을 제공하는가?
• RQ3 벤치마크 데이터셋이 사전학습 코퍼스에서 몇 번만 나타나도(예: 2~10회), 제안된 방법이 오염를 탐지할 수 있는가?
• RQ4 스파티드 테스팅 접근법은 단일 테스트에 비해 통계적 검정력과 계산 효율성을 어떻게 향상시키는가?
• RQ5 이 방법은 실제로 공개된 언어 모델에 적용되어 실무에서 오염를 탐지하는 데 얼마나 적용 가능한가?

주요 결과

• 제안된 방법은 위키백과와 캐나리 데이터셋을 활용해 훈련된 1.4B 파라미터 언어 모델에서, 테스트 세트가 사전학습 데이터에 단 두 번만 나타나도 오염를 성공적으로 탐지하였다.
• 10회 이상 중복 발생한 데이터셋의 경우, 테스트는 극도로 작은 p-값을 기록하여 오염에 대한 강력한 통계적 증거를 제공하였다.
• 이 테스트는 오직 1,000개 예시로 구성된 작은 테스트 세트에서도 오염를 감지할 수 있을 정도로 민감하여, 낮은 중복 환경에서 높은 검정력을 보였다.
• 네 개인 공개된 언어 모델에 적용한 결과, 광범위하거나 강한 테스트 세트 오염에 대한 뚜렷한 증거는 발견되지 않았다.
• 스파티드 테스팅 접근법은 통계적 검정력을 크게 향상시키고, 효율적이고 병렬 처리 가능한 계산을 가능하게 하여, 실무적이고 확장 가능한 방법이 되었다.

Figure 2: For a model pre-trained with canary datasets injected at a duplication count of 1, 2, 4, and 7, we plot the log p-value against dataset duplication count to quantify how the test’s power depends on dataset duplication count.