[논문 리뷰] Data Portraits: Recording Foundation Model Training Data

Marc Marone, Benjamin Van Durme|arXiv (Cornell University)|2023. 03. 06.

Natural Language Processing Techniques인용 수 5

한 줄 요약

이 논문은 기초 모델 훈련 데이터에 대한 빠르고 공간 효율적인 소속 관계 검출을 가능하게 하는 경량이며 확률적인 데이터 구조인 데이터 포트레이트(Data Portraits)를 소개한다. 기존 데이터셋 크기의 3%만 저장함으로써 연구자들과 사용자가 주어진 텍스트 스니펫이 훈련 코퍼스에 포함되었는지 여부를 판단할 수 있게 되어, 낮은 거짓 양성률을 유지하면서 테스트 셋 泄漏와 모델 표절을 효과적으로 탐지할 수 있다.

ABSTRACT

Foundation models are trained on increasingly immense and opaque datasets. Even while these models are now key in AI system building, it can be difficult to answer the straightforward question: has the model already encountered a given example during training? We therefore propose a widespread adoption of Data Portraits: artifacts that record training data and allow for downstream inspection. First we outline the properties of such an artifact and discuss how existing solutions can be used to increase transparency. We then propose and implement a solution based on data sketching, stressing fast and space efficient querying. Using our tools, we document a popular language modeling corpus (The Pile) and a recently released code modeling dataset (The Stack). We show that our solution enables answering questions about test set leakage and model plagiarism. Our tool is lightweight and fast, costing only 3% of the dataset size in overhead. We release a live interface of our tools at https://dataportraits.org/ and call on dataset and model creators to release Data Portraits as a complement to current documentation practices.

연구 동기 및 목표

• 주어진 텍스트가 기초 모델의 훈련 데이터에 포함되었는지 여부를 판단할 수 있는 실용적인 도구가 부족한 문제를 해결하기 위해.
• 소속 관계 검출을 지원하는 새로운 종류의 문서화 자료인 데이터 포트레이트(Data Portraits)를 도입함으로써 AI 모델 개발의 투명성을 향상시키기 위해.
• 기존의 문서화 관행(예: 데이터시트와 모델 카드)을 보완하는 경량이며 확장 가능한 데이터셋 점검 솔루션을 제공하기 위해.
• 콘텐츠 제작자, 과학자, 최종 사용자가 대규모 언어 모델에서의 데이터 泄漏, 표절, 기억 현상을 탐지할 수 있도록 하기 위해.
• 데이터셋 및 모델 제작자가 표준 관행으로 널리 채택할 수 있도록 데이터 포트레이트의 광범위한 도입을 촉진하기 위해.

제안 방법

• 이 방법은 다수의 해시 함수를 사용하여 훈련 데이터를 공간 효율적으로 표현하는 압축된 확률적 데이터 구조인 스트라이드드 블룸 필터를 활용한다.
• 각 텍스트 예제는 고정 길이의 n-그램(예: 50자)으로 분할되며, 이들이 해시되어 블룸 필터에 저장되어 빠른 소속 관계 질의를 가능하게 한다.
• 시스템은 밀리초 수준의 지연 시간을 지원하며, 원본 데이터셋 크기의 약 3%의 저장소 오버헤드만을 필요로 한다.
• 거짓 양성률은 구축 시에 조정 가능하여 정확도와 저장소 비용 간의 트레이드오프를 가능하게 한다.
• 원본 데이터셋을 전체적으로 재배포하지 않으며, 원본 데이터셋을 폭 드러내지 않고도 로컬 및 오프라인 소속 관계 테스트를 가능하게 한다.
• 구현은 The Pile 및 The Stack 데이터셋에 적용되었으며, 실시간 웹 인터페이스는 dataportraits.org 에서 이용 가능하다.

실험 결과

연구 질문

• RQ1 경량이며 효율적인 데이터 구조를 사용하여, 이 예제가 훈련 데이터에 포함되었는지 여부를 판단할 수 있는가?
• RQ2 블룸 필터와 같은 확률적 데이터 구조가 대규모 웹 스크래핑 데이터셋에 대해 정확하고 확장 가능한 소속 관계 검출을 얼마나 잘 지원할 수 있는가?
• RQ3 속도, 정확도, 자원 사용량 측면에서 스트라이드드 블룸 필터는 전체 텍스트 색인 또는 grep 기반 접근 방식과 비교해 어떻게 성능을 내는가?
• RQ4 실제 언어 모델링 데이터셋인 The Pile 및 The Stack에 적용했을 때, 이러한 시스템의 거짓 양성률은 얼마인가?
• RQ5 실제로 데이터 포트레이트가 테스트 셋 泄漏와 모델 표절을 효과적으로 탐지할 수 있는가?

주요 결과

• 스트라이드드 블룸 필터의 구현은 쿼리당 1ms 이내로 소속 관계 검출을 달성하며, 원본 데이터셋 크기의 3%만 저장소 오버헤드로 사용한다.
• 시스템은 거짓 양성률 7×10⁻⁴를 기록하여 의도한 1×10⁻³ 이하로 약간 낮아, 실용적 사용에 있어 뛰어난 정확도를 입증한다.
• 전체 텍스트 색인(Full-Text Search, FTS)과 비교해 200자 문맥에서 약 700배 빠르지만, 짧은 문맥에서는 재현율과 정밀도가 낮다.
• 신규 입력과 훈련 데이터 간의 겹치는 텍스트 스트링을 성공적으로 탐지하였으며, 'National Counterintelligence and Security Center'와 같은 장문의 일치 사례도 포함된다.
• 도구는 테스트 셋 泄漏와 모델 표절 탐지를 가능하게 하였으며, The Pile 및 The Stack 데이터셋을 활용한 사례 연구를 통해 이를 입증하였다.
• 시스템은 근사 소속 관계 테스트와 문서 지문 추출 모두를 지원하며, 거짓 양성률 및 n-그램 길이 파라미터를 조정함으로써 성능을 유연하게 조절할 수 있다.