[논문 리뷰] Stop Uploading Test Data in Plain Text: Practical Strategies for Mitigating Data Contamination by Evaluation Benchmarks

Alon Jacovi, Avi Caciularu외 2명|arXiv (Cornell University)|2023. 05. 17.

Data Quality and Management인용 수 5

한 줄 요약

이 논문은 자연어 처리(NLP) 평가에서의 데이터 오염을 완화하기 위한 세 가지 실용적 전략을 제안한다: 공개 키 암호화와 비양도적 라이선스를 사용해 테스트 데이터를 암호화하고, 훈련 제외 보장을 제공하지 않는 폐쇄형 API 모델은 평가를 거부하며, 솔루션이 인터넷에 공개된 데이터를 피하는 것이다. 이러한 조치들은 진심 어린 참여자들을 전제로 평가의 무결성을 유지하기 위해 마련되었으며, 크롤링된 코퍼스와 API 기반 모델에서 오는 오염에 대비한 실천 가능한 방어 수단을 제공한다.

ABSTRACT

Data contamination has become prevalent and challenging with the rise of models pretrained on large automatically-crawled corpora. For closed models, the training data becomes a trade secret, and even for open models, it is not trivial to detect contamination. Strategies such as leaderboards with hidden answers, or using test data which is guaranteed to be unseen, are expensive and become fragile with time. Assuming that all relevant actors value clean test data and will cooperate to mitigate data contamination, what can be done? We propose three strategies that can make a difference: (1) Test data made public should be encrypted with a public key and licensed to disallow derivative distribution; (2) demand training exclusion controls from closed API holders, and protect your test data by refusing to evaluate without them; (3) avoid data which appears with its solution on the internet, and release the web-page context of internet-derived data along with the data. These strategies are practical and can be effective in preventing data contamination.

연구 동기 및 목표

• 인터넷에서 크롤링한 데이터나 API 호출로 인해 증가하는 자연어 처리(NLP) 벤치마크에서의 데이터 오염 문제를 해결하기 위해.
• 훈련 데이터가 투명하지만 않아 평가 데이터가 포함될 수 있는 폐쇄형 모델의 오염 위험을 완화하기 위해.
• 연구자들이 평가 데이터의 무결성을 유지하기 위해 실천 가능한 전략을 제안하기 위해.
• 모든 참여자가 진심 어린 의도를 가지고 있으며 오염을 피하고자 한다는 전제 하에, 기술적 및 절차적 보안 조치에 집중하기 위해.
• 특히 개방형 및 폐쇄형 모델에 대해 연구자들이 평가 데이터의 오염 위험을 평가하고 감소시킬 수 있는 프레임워크를 제공하기 위해.

제안 방법

• 공개 키 암호화 기법을 사용해 공개된 테스트 데이터를 암호화하여 자동 크롤링 및 무단 배포를 방지한다.
• 행산물 생성을 명시적으로 금지하는 소프트웨어 라이선스를 활용해 수정되거나 추출된 데이터의 배포를 법적으로 제한한다.
• 훈련 데이터에서의 제외 보장을 제공하지 않는 폐쇄형 API 모델을 평가하지 않음으로써, 테스트 데이터가 향후 모델 훈련에 사용되는 것을 방지한다.
• 인터넷에서 유래한 데이터를 사용할 경우, 웹 컨텍스트를 공개하여 기원 추적을 가능하게 하고, 솔루션이 인터넷에 공개된 평가 데이터는 피하는 것이 바람직하다.
• 오염 사건을 기록하고 모델 훈련 데이터 출처의 투명성을 증진하기 위해 연구용 데이터베이스를 조성할 것을 제안한다.
• 메타데이터 또는 비침습적 데이터 구성 요소에 워터마킹 기법을 탐색하여 오염을 탐지할 수 있지만, 이는 아직 테스트 데이터에 대해 충분히 탐색되지 않은 분야이다.

실험 결과

연구 질문

• RQ1 공개된 데이터나 API 호스팅 모델을 사용할 경우, 연구자들이 테스트 데이터가 모델 훈련에 뜻하지 않게 포함되지 않도록 하는 방법은 무엇인가?
• RQ2 신뢰에만 의존하지 않고도 평가 벤치마크에서의 데이터 오염을 방지하기 위해 실천 가능하고 강제력을 갖춘 메커니즘은 무엇인가?
• RQ3 암호화와 라이선스 전략이 공개된 테스트 세트에서의 데이터 泄露를 얼마나 효과적으로 방지할 수 있는가?
• RQ4 폐쇄형 API에 전송된 평가 데이터가 향후 모델 훈련에 포함되지 않도록 연구자들이 어떻게 보장할 수 있는가?
• RQ5 메타데이터, 기원 추적, 컨텍스트 공개는 인터넷에서 유래한 데이터셋의 오염 위험을 줄이는 데 어떤 역할을 할 수 있는가?

주요 결과

• 논문은 모델이 인터넷에서 크롤링한 데이터로 훈련되거나, 훈련 제외 보장을 제공하지 않는 폐쇄형 API에 평가 데이터를 전송할 경우, 데이터 오염이 NLP 평가의 타당성에 심각한 위협이 된다는 것을 입증한다.
• 공개 키 암호화나 엄격한 라이선스 조건이 적용되지 않은 공개 테스트 데이터는 자동 크롤링의 대상이 되며, 원본 그대로 사용되지 않더라도 모델 훈련에 포함될 위험이 있다.
• 공개 키 암호화와 비양도적 라이선스의 조합은 테스트 데이터의 무단 배포 및 衍생 사용을 효과적으로 방지할 수 있다.
• 폐쇄형 API 제공자가 훈련 데이터에서의 제외 보장을 제공하지 않는 모델에 대해서는 평가를 거부하는 것이 평가 데이터 오염을 방지하기 위한 실현 가능하고 효과적인 전략이다.
• 인터넷에서 유래한 데이터의 웹 컨텍스트를 공개하면 기원 추적 능력이 향상되고, 의도하지 않은 오염 위험이 감소한다.
• 이 전략들은 진심 어린 참여자들을 전제로 할 때 가장 효과적이며, 데이터 관리에서의 경솔함이나 악성 행위는 이러한 조치에도 불구하고 데이터 무결성을 손상시킬 수 있다.