[论文解读] Knowledge Unlearning for Mitigating Privacy Risks in Language Models

Joel Jang, Dongkeun Yoon+5 more|arXiv (Cornell University)|Oct 4, 2022

Privacy-Preserving Technologies in Data被引用 4

一句话总结

本文提出知识遗忘作为一种后训练方法，通过在记忆序列上执行梯度上升，有效降低其可提取性，从而减轻大语言模型中的隐私风险，且无需重新训练。该方法在实现强大隐私保护的同时，通常还能提升模型性能，且相比数据预处理或差分隐私方法，效率更高、鲁棒性更强。

ABSTRACT

Pretrained Language Models (LMs) memorize a vast amount of knowledge during initial pretraining, including information that may violate the privacy of personal lives and identities. Previous work addressing privacy issues for language models has mostly focused on data preprocessing and differential privacy methods, both requiring re-training the underlying LM. We propose knowledge unlearning as an alternative method to reduce privacy risks for LMs post hoc. We show that simply performing gradient ascent on target token sequences is effective at forgetting them with little to no degradation of general language modeling performances for larger LMs; it sometimes even substantially improves the underlying LM with just a few iterations. We also find that sequential unlearning is better than trying to unlearn all the data at once and that unlearning is highly dependent on which kind of data (domain) is forgotten. By showing comparisons with a previous data preprocessing method and a decoding method known to mitigate privacy risks for LMs, we show that unlearning can give a stronger empirical privacy guarantee in scenarios where the data vulnerable to extraction attacks are known a priori while being much more efficient and robust. We release the code and dataset needed to replicate our results at https://github.com/joeljang/knowledge-unlearning.

研究动机与目标

• 解决因大语言模型记忆敏感数据（如PII和私人身份信息）而带来的日益严重的隐私泄露风险。
• 提出一种后训练解决方案，避免在个人行使“被遗忘权”（Right-To-Be-Forgotten, RTBF）时进行昂贵的重新训练。
• 开发一种高效、可扩展的方法，实现对特定记忆序列的遗忘，同时不损害模型的一般语言建模能力。

提出的方法

• 对目标标记序列应用梯度上升，以逆转其记忆，从而有效从模型中“遗忘”这些序列。
• 引入一种新型提取似然（Extraction Likelihood, EL）度量，量化目标序列被提取的可能性，并通过改变前缀长度来模拟攻击强度。
• 通过分批依次遗忘的方式实现顺序遗忘，而非一次性遗忘全部数据，以提升效果。
• 在GPT-Neo模型（125M、1.3B、2.7B）上对9个NLP基准和4个对话任务进行评估，以衡量性能稳定性。
• 与数据去重和差分隐私解码方法进行实证比较，结果表明本方法在效率和鲁棒性方面表现更优。
• 基于EL值定义遗忘阈值，以确定序列是否已被有效遗忘。

实验结果

研究问题

• RQ1 基于梯度的遗忘方法是否能在不损害一般性能的前提下，有效降低大语言模型中敏感序列的记忆程度？
• RQ2 与一次性遗忘全部数据相比，顺序遗忘在效果和效率方面有何差异？
• RQ3 被遗忘数据的领域对知识遗忘的难度和成功率有多大影响？
• RQ4 与现有隐私缓解方法（如数据去重和差分隐私解码）相比，知识遗忘在隐私保障和计算成本方面表现如何？
• RQ5 哪些度量指标和阈值可实证定义记忆序列已被成功遗忘？

主要发现

• 知识遗忘后，提取似然（EL）降低至遗忘阈值以下（例如，GPT-Neo 1.3B模型上EL₁₀为5.68%），表明遗忘有效。
• 该方法对一般语言建模性能影响极小或无影响，9个基准任务上的平均准确率保持稳定甚至略有提升。
• 顺序遗忘优于单次遗忘，由于序列相似性，后续数据块仅需一两个周期即可完成遗忘。
• 在9个分类任务上的表现依然很高（例如，1.3B模型上EL₅的平均准确率为49.93%），表明对遗忘具有强鲁棒性。
• 该方法在隐私保障方面优于数据去重和差分隐私解码，同时计算效率显著更高。
• 遗忘效果因数据领域而异，表明记忆与遗忘高度依赖于目标数据的语义和结构特征。