[논문 리뷰] Rethinking Benchmark and Contamination for Language Models with Rephrased Samples

Shuo Yang, Wei-Lin Chiang외 3명|arXiv (Cornell University)|2023. 11. 08.

Topic Modeling인용 수 7

한 줄 요약

이 논문은 표준 n-gram 및 임베딩 기반 제거 방법을 회피하는 의미적으로 동일하지만 언어적으로 다양화된 테스트 케이스인 재구성된 샘플을 소개한다. 이를 통해 GPT-4 수준의 성능를 내며도 탐지되지 않는 13B 모델의 오버피팅 가능성을 입증하고, RedPajama-1T 및 StarCoder-Data와 같은 실세계 데이터셋에서 이전에 알려지지 않은 오염을 드러내며, 신뢰할 수 있는 LLM 평가를 위해 한 번만 사용하는 새로운 벤치마크 도입을 촉구한다.

ABSTRACT

Large language models are increasingly trained on all the data ever produced by humans. Many have raised concerns about the trustworthiness of public benchmarks due to potential contamination in pre-training or fine-tuning datasets. While most data decontamination efforts apply string matching (e.g., n-gram overlap) to remove benchmark data, we show that these methods are insufficient, and simple variations of test data (e.g., paraphrasing, translation) can easily bypass these decontamination measures. Furthermore, we demonstrate that if such variation of test data is not eliminated, a 13B model can easily overfit a test benchmark and achieve drastically high performance, on par with GPT-4. We validate such observations in widely used benchmarks such as MMLU, GSK8k, and HumanEval. To address this growing risk, we propose a stronger LLM-based decontamination method and apply it to widely used pre-training and fine-tuning datasets, revealing significant previously unknown test overlap. For example, in pre-training sets such as RedPajama-Data-1T and StarCoder-Data, we identified that 8-18\% of the HumanEval benchmark overlaps. Interestingly, we also find such contamination in synthetic dataset generated by GPT-3.5/4, suggesting a potential risk of unintentional contamination. We urge the community to adopt stronger decontamination approaches when using public benchmarks. Moreover, we call for the community to actively develop fresh one-time exams to evaluate models accurately. Our decontamination tool is publicly available at https://github.com/lm-sys/llm-decontaminator.

연구 동기 및 목표

• 기존의 n-gram 겹침과 임베딩 유사도 기반 제거 방법이 의미적으로 동일하지만 언어적으로 다양화된 테스트 데이터를 탐지하는 데에 한계가 있음을 폭 드러내는 것.
• 단순한 재구성(다시 표현 또는 번역)을 통해 벤치마크 샘플을 변형하면 13B 모델이 오버피팅하고 GPT-4 수준의 성능를 내며도 탐지되지 않는다는 것을 입증하는 것.
• GPT-3.5/4 등에서 생성된 널리 쓰이는 사전학습 및 합성 데이터셋에서 이전에 발견되지 않은 오염을 드러내는 것.
• 정확하고 신뢰할 수 있는 LLM 평가를 보장하기 위해 신규로 한 번만 사용하는 벤치마크 도입을 주장하는 것.

제안 방법

• 원본 벤치마크 질문을 의미를 유지하면서도 문자 기반 탐지 방식을 회피할 수 있도록 LLM을 사용해 재구성된 샘플을 생성한다.
• 임베딩 유사도 검색을 적용해 각 테스트 샘플에 대한 상위-k 후보 매칭을 식별한다.
• 강력한 LLM(예: GPT-4)을 사용해 상위-k 후보 중 일부가 테스트 샘플과 의미적으로 너무 유사한지 평가함으로써 미세한 오염을 탐지한다.
• 실세계 데이터셋인 RedPajama-1T, StarCoder-Data, CodeAlpaca 등에 LLM 기반 제거기를 적용해 숨겨진 테스트 일치를 드러낸다.
• 재구성된 벤치마크로 미세조정된 모델의 성능을 평가해 오버피팅과 기존 탐지 기법의 회피 가능성을 입증한다.
• 장기적인 해결책으로서 CodeForces와 같은 동적이고 한 번만 사용하는 시험(예: 동적 시험) 도입을 제안한다.

실험 결과

연구 질문

• RQ1 의미적으로 동일하지만 언어적으로 다양화된 변형(예: 다듬어쓰기 또는 번역)이 기존의 n-gram 및 임베딩 기반 제거 방법을 회피할 수 있는가?
• RQ2 재구성된 테스트 샘플로 훈련된 13B 모델이 얼마나 오버피팅할 수 있으며, GPT-4 수준의 성능를 내며도 탐지되지 않을 수 있는가?
• RQ3 GPT-3.5/4 등에서 생성된 널리 쓰이는 사전학습 및 합성 데이터셋에서 벤치마크 오염의 실제 범위는 어느 정도인가?
• RQ4 기존 기술과 비교해 의미적으로 유사하지만 문자열으로는 일치하지 않는 오염을 탐지하는 데 LLM 기반 제거 방법이 얼마나 효과적인가?
• RQ5 신규로 한 번만 사용하는 벤치마크가 오염 위험을 완화하고 LLM 평가의 신뢰성을 향상시킬 수 있는가?

주요 결과

• 의미는 유지하지만 언어적 표현 방식을 바꾼 재구성된 샘플은 표준 n-gram 겹침 및 임베딩 유사도 기반 탐지 방법을 회피할 수 있어, 오염 경고가 발생하지 않더라도 모델 오버피팅이 가능하다.
• 재구성된 MMLU, GSM-8k, HumanEval 샘플로 미세조정한 13B Llama-2 모델은 GPT-4 수준의 성능를 내며 심각한 오버피팅 가능성을 입증한다.
• LLM 기반 제거 방법은 임베딩 검색과 LLM의 의미 유사도 판단을 조합함으로써 기존 기술보다 훨씬 뛰어난 성능을 보인다.
• RedPajama-Data-1T 및 StarCoder-Data와 같은 사전학습 데이터셋에서 HumanEval 테스트 케이스의 8–18%가 재구성된 변형을 통해 오염된 것으로 밝혀졌다.
• GPT-3.5가 생성한 합성 데이터셋인 CodeAlpaca는 HumanEval의 12.8%가 재구성된 샘플을 포함하고 있어, 합성 데이터 훈련 과정에서 뜻하지 않은 오염 위험이 있음을 시사한다.
• 이 연구는 기존 오픈소스 및 전문 소유 데이터셋에서 이전에 알려지지 않은 오염을 드러내며, 커뮤니티가 더 강력한 제거 기법을 도입하고 동적·일회성 평가 벤치마크로 전환할 것을 촉구한다.