[논문 리뷰] Estimating Contamination via Perplexity: Quantifying Memorisation in Language Model Evaluation

Yucheng Li|arXiv (Cornell University)|2023. 09. 19.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 훈련 데이터에 접근할 수 없는 상황에서 언어 모델 벤치마크의 데이터 오염을 퍼플렉서티 기반 방법으로 추정하는 방법을 제안한다. 동일한 소스 분포에서 유래한 테스트 세트의 퍼플렉서티를 기록된 기준과 깨끗한 기준과 비교함으로써, 독해 및 요약 벤치마크에서 특히 큰 모델에서 뚜렷한 기억 현상이 발견되며, 여러 선택지 형식의 데이터셋인 MMLU와 같은 경우는 최소한의 오염이 있음을 밝혀냈다.

ABSTRACT

Data contamination in model evaluation is getting increasingly prevalent as the massive training corpora of large language models often unintentionally include benchmark samples. Therefore, contamination analysis has became an inevitable part of reliable model evaluation. However, existing method of contamination analysis requires the access of the entire training data which is often confidential for recent models. This prevent the community to rigorously audit these models and conduct accurate assessment of their capability. In this paper, we propose a novel method to quantify contamination without the access of the full training set, that measure the extent of contamination with perplexity. Our analysis provides evidence of significant memorisation of recent foundation models in popular reading comprehension, summarisation benchmarks, while multiple choice appears less contaminated.

연구 동기 및 목표

• 훈련 데이터 접근이 불가능한 폐쇄형 및 파인튜닝된 언어 모델에 대한 신뢰할 수 있는 오염 분석 부족 문제를 해결하기 위해.
• 완전한 훈련 코퍼스에 대한 접근이 필요 없이 평가 벤치마크에서의 기억 현상을 정량화하는 방법을 개발하기 위해.
• n-그램 겹침 분석에 대한 비용이 많이 드는 대안을 대체로, 커뮤니티 수준에서 모델 능력을 감시할 수 있도록 가용성과 확장성이 높은 방법을 제공하기 위해.
• 모델의 가능도를 기반으로 한 대체 측정 기준을 사용하여 주요 NLP 벤치마크 전반에서 오염 정도를 평가하기 위해.

제안 방법

• 이 방법은 테스트 세트의 퍼플렉서티를 두 기준과 비교한다: 훈련 데이터에서 유도된 기준(기록된 기준)과 훈련 세트 외부의 데이터에서 유도된 기준(깨끗한 기준).
• 기준들은 테스트 세트와 동일한 소스 분포에서 유도되며, 예를 들어 독해 작업의 경우 위키백과, 요약 작업의 경우 BBC 뉴스 등 형식과 길이가 유사하도록 보장된다.
• 각 벤치마크에서 모델이 테스트 세트에 대해 측정한 퍼플렉서티를 기록된 기준과 깨끗한 기준의 평균 퍼플렉서티와 비교한다.
• 기록된 기준에 가까운 퍼플렉서티를 보이는 테스트 세트는 심각한 기억 현상과 오염을 시사한다.
• 특히 다중 선택 질문에 적합한 입력 형식을 일관되게 정의하기 위해 언어화 기법을 사용한다.
• 직접적으로 모델 가능도를 퍼플렉서티를 통해 측정함으로써, 고비용의 n-그램 겹침 계산을 피한다.

실험 결과

연구 질문

• RQ1 훈련 데이터에 접근할 수 없는 상황에서, 대표적인 독해 벤치마크가 큰 언어 모델에서 얼마나 오염되어 있는가?
• RQ2 테스트 세트와 기준 간의 퍼플렉서티 차이가 기억 현상과 오염을 신뢰성 있게 나타내는가?
• RQ3 독해, 요약, 다중 선택 문제 유형의 다른 종류의 벤치마크에서 오염 정도는 어떻게 달라지는가?
• RQ4 훈련 데이터 접근이 불가능한 상황에서, 작은 모델은 더 큰 모델보다 기억 현상에 덜 취약한가?

주요 결과

• gpt-3, llama-7b, 13b, 30b를 포함한 모든 테스트된 기초 모델이 QuAC, BoolQ, SQuAD_v2와 같은 독해 벤치마크에서 뚜렷한 기억 현상을 보이며, 기록된 기준에 가까운 퍼플렉서티를 기록했다.
• LLaMA-30B 모델은 특히 강력한 기억 현상을 보였으며, SQuAD에서 자체 기록된 기준보다 낮은 퍼플렉서티를 기록했다.
• XSum과 같은 요약 벤치마크 역시 오염의 강력한 징후를 보였으며, 모든 모델에서 기록된 기준에 가까운 퍼플렉서티를 기록했다.
• 반면 MMLU와 같은 다중 선택 벤치마크는 명백한 오염 경향이 없었으며, 데이터 생성 시점과의 상관관계가 없어 최소한의 기억 현상이 있음을 시사했다.
• LLaMA-7B와 같은 작은 모델은 더 큰 모델보다 기억 현상이 적었지만, 여전히 독해 작업에서 측정 가능한 오염이 있었다.
• 이 방법은 훈련 데이터에 접근하지 않아도 오염을 성공적으로 식별할 수 있었으며, 이는 폐쇄형 및 파인튜닝된 모델의 신뢰할 수 있는 평가를 가능하게 했다.