[논문 리뷰] NLP Evaluation in trouble: On the Need to Measure LLM Data Contamination for each Benchmark

Oscar Sainz, Jon Ander Campos외 4명|arXiv (Cornell University)|2023. 10. 27.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 자연어 처리(NLP) 벤치마크에서 데이터 오염 문제—특히 대규모 언어 모델(LLM)이 테스트 데이터를 학습한 데 기인한 문제—가 성능 지표를 과도하게 높이고 과학적 결론을 잘못 이끌게 한다고 주장한다. 연구자들이 참여하는 레지스트리 체계를 제안하여 오염 사례를 탐지하고 기록하며 경고함으로써 연구의 신뢰성을 확보한다. 자동화된 도구와 컨fer런스 수준의 정책을 통해 연구 윤리를 보장한다.

ABSTRACT

In this position paper, we argue that the classical evaluation on Natural Language Processing (NLP) tasks using annotated benchmarks is in trouble. The worst kind of data contamination happens when a Large Language Model (LLM) is trained on the test split of a benchmark, and then evaluated in the same benchmark. The extent of the problem is unknown, as it is not straightforward to measure. Contamination causes an overestimation of the performance of a contaminated model in a target benchmark and associated task with respect to their non-contaminated counterparts. The consequences can be very harmful, with wrong scientific conclusions being published while other correct ones are discarded. This position paper defines different levels of data contamination and argues for a community effort, including the development of automatic and semi-automatic measures to detect when data from a benchmark was exposed to a model, and suggestions for flagging papers with conclusions that are compromised by data contamination.

연구 동기 및 목표

• LLM이 테스트 데이터를 학습함으로써 발생하는 NLP 벤치마크의 심각한 데이터 오염 위험을 드러내는 것.
• 오염이 모델 성능 평가를 과대평가하고 잘못된 과학적 주장을 낳는 방식으로 영향을 미친다는 것을 보여주는 것.
• LLM과 벤치마크 전반에 걸쳐 오염 사례를 체계적으로 탐지하고 기록하는 데 목적이 있는 것.
• 자동화된 탐지 및 컨퍼런스 수준의 오염된 연구를 경고하는 데 초점을 맞춘 공동체 차원의 메커니즘을 제안하는 것.
• 벤치마크 테스트 세트에 기반한 모델에 의존하는 것을 방지함으로써 NLP 평가의 신뢰성을 확보하는 것.

제안 방법

• 데이터 泄露의 심각도를 평가하기 위해 다수준 오염 분류 체계를 제안하는 것.
• LLM, 벤치마크, 증거 자료를 포함하여 알려진 오염 사례를 기록하기 위한 공개 레지스트리(예: LM 오염 지수)를 개발하는 것.
• LLM의 기억 특성을 활용해 테스트 세트의 정확한 벤치마크 인스턴스가 재생되는지 탐지하는 것.
• 프롬프트 기반 테스트를 적용하여 LLM이 벤치마크 예시(예: CoNLL-2003, GSM-8K)를 재생하도록 유도하는 것.
• 컨퍼런스와 협력하여 오염된 모델에 의존하는 논문을 경고하거나 기각하는 정책을 시행하는 것.
• 오염 증거의 타당성을 검증하기 위해 준자동화 및 수동 검증 프로세스를 통합하는 것.

실험 결과

연구 질문

• RQ1 인기 있는 NLP 벤치마크가 얼마나 심각하게 LLM 사전 학습 데이터에 의해 오염되어 있는가?
• RQ2 데이터 오염이 NLP 분야에서 모델 성능 평가의 신뢰성에 어떤 영향을 미치는가?
• RQ3 LLM과 벤치마크 전반에 걸쳐 오염 사례를 탐지하고 기록하기 위한 메커니즘은 무엇이 가능한가?
• RQ4 NLP 공동체는 모델 데이터 泄露로 인한 과학적 결론의 무효화를 어떻게 방지할 수 있는가?
• RQ5 오염된 모델에 기반한 결과를 발표하는 것을 막기 위해 어떤 제도적 정책이 필요한가?

주요 결과

• ChatGPT, WizardCoder, GitHub Copilot는 CoNLL-2003 테스트 세트의 첫 줄을 BIO 형식으로 완벽하게 재생하여 벤치마크 데이터를 직접 기억하고 있음을 시사한다.
• GPT-3, GPT-4 및 기타 LLM은 BIG-bench, GSM-8K, MATH 등의 일부 테스트 세트를 학습 데이터에 포함한 것으로 확인되었다.
• 오염된 벤치마크에서 평가된 모델의 성능은 과대평가되며, 이는 오해의 소지가 있는 비교를 초래한다.
• ACL 2023에서 발표된 몇몇 논문들은 GPT-3와 Codex를 CoNLL-2003에서 평가하였으며, 이로 인해 그들의 결론의 타당성이 우려되고 있다.
• 공개 레지스트리인 LM 오염 지수는 오염 사례를 추적하고 기록하기 위해 구축되었다.
• 탐지 메커니즘이 없을 경우 오염 위험은 과학적 엄밀성을 해칠 것이며, 잘못된 연구 결론이 발표되는 결과를 낳을 것이다.