[논문 리뷰] Digger: Detecting Copyright Content Mis-usage in Large Language Model Training

H. L. Li, Gelei Deng외 8명|arXiv (Cornell University)|2024. 01. 01.

Topic Modeling인용 수 6

한 줄 요약

Digger는 손실 역학을 분석하고 재참조 모델 설정을 사용하여 자료 포함의 신뢰 점수를 추정함으로써 LLM의 학습에 저작권이 있는 콘텐츠가 사용되었는지 여부를 감지하는 프레임워크를 제시합니다.

ABSTRACT

Pre-training, which utilizes extensive and varied datasets, is a critical factor in the success of Large Language Models (LLMs) across numerous applications. However, the detailed makeup of these datasets is often not disclosed, leading to concerns about data security and potential misuse. This is particularly relevant when copyrighted material, still under legal protection, is used inappropriately, either intentionally or unintentionally, infringing on the rights of the authors. In this paper, we introduce a detailed framework designed to detect and assess the presence of content from potentially copyrighted books within the training datasets of LLMs. This framework also provides a confidence estimation for the likelihood of each content sample's inclusion. To validate our approach, we conduct a series of simulated experiments, the results of which affirm the framework's effectiveness in identifying and addressing instances of content misuse in LLM training processes. Furthermore, we investigate the presence of recognizable quotes from famous literary works within these datasets. The outcomes of our study have significant implications for ensuring the ethical use of copyrighted materials in the development of LLMs, highlighting the need for more transparent and responsible data management practices in this field.

연구 동기 및 목표

• LLM 학습에서 저작권이 있는 콘텐츠를 감지해야 할 필요성과 윤리적 데이터 사용을 보장하는 동기를 제시합니다.
• 대상 자료가 학습에 사용되었는지 식별하기 위한 손실 격차 분석 기반 프레임워크를 제안합니다.
• 제어된 실험 및 실제 LLM 시나리오에서 Digger의 강건성을 시연합니다.
• 손실 분포를 보정하고 자료 포함의 신뢰도를 추정하는 방법론을 제공합니다.

제안 방법

• 대상 자료에 대한 파인튜닝 전후의 샘플 손실 역학을 분석하여 학습된 콘텐츠를 감지합니다.
• baseline, reference, target LLM 간의 손실 격차에 기반한 Digger 프레임워크를 도입합니다.
• 참조 LLM을 구축하는 준비 단계, 손실 분포를 연구하는 시뮬레이션 단계, 신뢰도 점수를 도출하는 확률 계산 단계를 사용합니다.
• Wasserstein 거리로 분포를 보정하고 LLM에 대한 사전 학습 여부를 결정하는 AUC 기반 임계치를 설정합니다.
• 모델 크기, 학습 반복 수, 토큰 길이가 손실 기반 탐지에 미치는 영향을 평가하기 위해 GPT-2 변형 및 LLaMA-7b를 실험합니다.
• 재현 가능성을 높이기 위해 오픈 소스 구현을 제공합니다.

실험 결과

연구 질문

• RQ1 RQ1: 파인튜닝이 대상 자료와 관련된 샘플 손실에 어떤 영향을 미치는가?
• RQ2 RQ2: 샘플 손실을 이용해 LLM이 이전에 어떤 자료를 학습했는지 식별할 수 있는가?
• RQ3 RQ3: Digger가 일반 LLM의 학습 세트에 속하는 샘플을 식별하는 데 얼마나 효과적인가?
• RQ4 RQ4: 라벨이 없는 실제-world LLM에서도 Digger가 효과적으로 작동하는가?

주요 결과

Version	repeat	50	60	70	80	90	100
GPT-2	1	0.67318	0.70111	0.72455	0.74608	0.76583	0.78235
GPT-2	2	0.76828	0.80316	0.83085	0.85447	0.87472	0.89077
GPT-2	3	0.84160	0.87639	0.90219	0.92249	0.93864	0.95047
Medium	1	0.75657	0.79122	0.81788	0.84062	0.85942	0.87429
Medium	2	0.89324	0.92352	0.94312	0.95730	0.96767	0.97433
Medium	3	0.96460	0.97928	0.98708	0.99165	0.99442	0.99619
Large	1	0.86596	0.89626	0.91749	0.93277	0.94408	0.95222
Large	2	0.98733	0.99291	0.99532	0.99673	0.99748	0.99804
Large	3	0.99919	0.99952	0.99964	0.99969	0.99974	0.99975
XL	1	0.89705	0.92303	0.93964	0.95218	0.96107	0.96670
XL	2	0.99718	0.99845	0.99893	0.99908	0.99928	0.99940
XL	3	0.99989	0.99989	0.99990	0.99990	0.99991	0.99995

• 더 큰 모델과 더 잦은 학습 샘플 반복은 손실 수렴 속도와 보존 신호를 강화합니다.
• 학습된 콘텐츠와 학습되지 않은 콘텐츠 간의 손실 격차를 활용하여 선행 노출 여부를 추론할 수 있으며, 모델 크기와 반복이 증가할수록 AUC가 증가합니다.
• 제어된 실험에서 XL의 세 반복과 100토큰 테스트 샘플에서 AUC가 최대 0.99995에 도달했습니다.
• 테스트 샘플이 길어질수록 AUC가 향상되며 최적 설정에서 0.99995에 도달하여 토큰 길이가 학습된 콘텐츠의 탐지 가능성에 영향을 준다는 것을 시사합니다.
• Digger의 참조 조정 분포 및 일반 설정 분포를 통해 목표 자료 포함에 대한 신뢰도 점수를 보정할 수 있습니다.