[论文解读] Digger: Detecting Copyright Content Mis-usage in Large Language Model Training

H. L. Li, Gelei Deng+8 more|arXiv (Cornell University)|Jan 1, 2024

Topic Modeling被引用 6

一句话总结

Digger 提出一个框架，通过分析损失动态并采用参考模型设置来估计材料纳入的置信度分数，以检测是否在训练大型语言模型时使用了受版权保护的内容。

ABSTRACT

Pre-training, which utilizes extensive and varied datasets, is a critical factor in the success of Large Language Models (LLMs) across numerous applications. However, the detailed makeup of these datasets is often not disclosed, leading to concerns about data security and potential misuse. This is particularly relevant when copyrighted material, still under legal protection, is used inappropriately, either intentionally or unintentionally, infringing on the rights of the authors. In this paper, we introduce a detailed framework designed to detect and assess the presence of content from potentially copyrighted books within the training datasets of LLMs. This framework also provides a confidence estimation for the likelihood of each content sample's inclusion. To validate our approach, we conduct a series of simulated experiments, the results of which affirm the framework's effectiveness in identifying and addressing instances of content misuse in LLM training processes. Furthermore, we investigate the presence of recognizable quotes from famous literary works within these datasets. The outcomes of our study have significant implications for ensuring the ethical use of copyrighted materials in the development of LLMs, highlighting the need for more transparent and responsible data management practices in this field.

研究动机与目标

• 激发检测 LLM 训练中版权内容的必要性，并确保数据伦理实践。
• 提出基于损失差的框架以识别目标材料是否在训练中被使用。
• 展示 Digger 在受控与真实世界的 LLM 场景中的鲁棒性。
• 提供一种校准损失分布并估计材料纳入置信度的方法。

提出的方法

• 分析在对目标材料进行微调前后的样本损失动态，以检测已学习的内容。
• 基于基线、参考和目标 LLMs 之间的损失差引入 Digger 框架。
• 使用准备阶段构建参考 LLMs、仿真阶段研究损失分布、以及置信度计算阶段推导可能性分数。
• 用 Wasserstein 距离对分布进行标定，并设定基于 AUC 的阈值以判断是否在该 LLM 之前进行过训练。
• 使用 GPT-2 变体和 LLaMA-7b 进行实验，以评估模型规模、训练重复次数和令牌长度对基于损失的检测的影响。
• 提供一个开源实现以实现可重复性。

实验结果

研究问题

• RQ1 RQ1：微调在多大程度上影响 LLM 相对于目标材料的样本损失？
• RQ2 RQ2：样本损失是否可以用于识别 LLM 之前是否学习过某材料？
• RQ3 RQ3：Digger 在识别属于普通 LLM 训练集的样本方面有多有效？
• RQ4 RQ4：Digger 是否能在无标签的真实世界 LLM 上有效工作？

主要发现

版本	重复	50	60	70	80	90	100
GPT-2	1	0.67318	0.70111	0.72455	0.74608	0.76583	0.78235
GPT-2	2	0.76828	0.80316	0.83085	0.85447	0.87472	0.89077
GPT-2	3	0.84160	0.87639	0.90219	0.92249	0.93864	0.95047
Medium	1	0.75657	0.79122	0.81788	0.84062	0.85942	0.87429
Medium	2	0.89324	0.92352	0.94312	0.95730	0.96767	0.97433
Medium	3	0.96460	0.97928	0.98708	0.99165	0.99442	0.99619
Large	1	0.86596	0.89626	0.91749	0.93277	0.94408	0.95222
Large	2	0.98733	0.99291	0.99532	0.99673	0.99748	0.99804
Large	3	0.99919	0.99952	0.99964	0.99969	0.99974	0.99975
XL	1	0.89705	0.92303	0.93964	0.95218	0.96107	0.96670
XL	2	0.99718	0.99845	0.99893	0.99908	0.99928	0.99940
XL	3	0.99989	0.99989	0.99990	0.99990	0.99991	0.99995

• 更大模型和对训练样本更频繁的重复会使损失收敛更快、保留信号更强。
• 学习过的内容与未学习内容之间的损失差可用于推断先前暴露，随模型规模和重复次数增加，AUC 越高。
• 在受控实验中，XL 版本在三次重复和 100-token 测试样本下，AUC 高达 0.99995。
• 随着测试样本长度的增加，AUC 提高至最好设定下的 0.99995，表明令牌长度会影响对学习内容的可检测性。
• Digger 的参考调优和原生调优分布使得对目标材料纳入的置信度分数能够进行标定。