[论文解读] Can Sensitive Information Be Deleted From LLMs? Objectives for Defending Against Extraction Attacks

Vaidehi Patil, Peter Hase+1 more|arXiv (Cornell University)|Sep 29, 2023

Topic Modeling被引用 4

一句话总结

本文研究了通过直接编辑模型权重是否能够真正从大语言模型（LLMs）中删除敏感信息，提出了一套新颖的攻击与防御框架。尽管采用了最先进的编辑方法如ROME和MEMIT，攻击仍能在38–89%的情况下恢复被删除的事实，揭示了隐藏状态中的残留痕迹以及问题重述会削弱删除的有效性，凸显了实现稳健、隐私保护型模型编辑的困难。

ABSTRACT

Pretrained language models sometimes possess knowledge that we do not wish them to, including memorized personal information and knowledge that could be used to harm people. They can also output toxic or harmful text. To mitigate these safety and informational issues, we propose an attack-and-defense framework for studying the task of deleting sensitive information directly from model weights. We study direct edits to model weights because (1) this approach should guarantee that particular deleted information is never extracted by future prompt attacks, and (2) it should protect against whitebox attacks, which is necessary for making claims about safety/privacy in a setting where publicly available model weights could be used to elicit sensitive information. Our threat model assumes that an attack succeeds if the answer to a sensitive question is located among a set of B generated candidates, based on scenarios where the information would be insecure if the answer is among B candidates. Experimentally, we show that even state-of-the-art model editing methods such as ROME struggle to truly delete factual information from models like GPT-J, as our whitebox and blackbox attacks can recover "deleted" information from an edited model 38% of the time. These attacks leverage two key observations: (1) that traces of deleted information can be found in intermediate model hidden states, and (2) that applying an editing method for one question may not delete information across rephrased versions of the question. Finally, we provide new defense methods that protect against some extraction attacks, but we do not find a single universally effective defense method. Our results suggest that truly deleting sensitive information is a tractable but difficult problem, since even relatively low attack success rates have potentially severe societal implications for real-world deployment of language models.

研究动机与目标

• 为解决大语言模型中可靠删除敏感信息（包括个人数据和有害知识）的迫切需求，以支持隐私权和安全性。
• 构建一个严格的威胁模型，即若在少量B个候选答案中可恢复被删除的事实，则视为攻击成功，以反映现实世界中的对抗场景。
• 评估直接模型编辑（通过修改权重来删除信息）是否可作为强化学习人类反馈（RLHF）或数据级干预的可行且安全的替代方案。
• 测试所提防御机制对预期及意外提取攻击的鲁棒性，尤其是白盒探测攻击。
• 证明即使先进的编辑方法也无法完全擦除信息，从而挑战了关于模型隐私与安全性的既有假设。

提出的方法

• 提出一种双重视角的攻击与防御框架，用于测试通过模型编辑从LLM权重中删除敏感事实信息的有效性。
• 设计两种白盒攻击：头部投影攻击（Head Projection attack）和概率差攻击（Probability Delta attack），分别利用模型隐藏状态和注意力头中的残留信息。
• 引入一种黑盒攻击，通过向模型查询被删除问题的重述版本，以检验删除效果在语义变体上的泛化能力。
• 采用多种防御策略：事实擦除（Fact Erasure）、空响应注入（Empty Response Injection）、错误注入（Error Injection）、头部投影（Head Projection）、最大熵正则化（Max-Entropy regularization）以及基于检索（IR-based）的防御，以增强模型权重的抗性。
• 以GPT-J为目标模型，在CounterFact和zsRE数据集上进行评估，通过在B个候选答案中的恢复率来衡量攻击成功率。
• 采用一种威胁模型，定义成功为从少量B个生成响应中恢复出正确答案，以模拟合理的对抗性设置。

实验结果

研究问题

• RQ1 当前的模型编辑技术能否可靠地从LLM权重中删除敏感事实信息？
• RQ2 白盒和黑盒提取攻击在恢复经编辑声称已删除信息的模型中，其成功率如何？
• RQ3 所提出的防御机制在抵御预期和意外提取攻击方面的有效性如何？
• RQ4 隐藏状态或注意力头中残留信息的存在是否会削弱模型编辑在信息删除方面的有效性？
• RQ5 部分删除对大语言模型部署中的隐私、安全以及数据所有权合规性有何影响？

主要发现

• 即使最先进的编辑方法如ROME和MEMIT也无法完全删除事实信息，概率差攻击下，攻击在高达89.65%的案例中成功恢复了被删除的事实。
• 头部投影攻击在IR防御下取得84.80%的成功率，在头部投影防御下为56.83%，表明防御措施并非普遍有效。
• 最大熵防御将白盒攻击成功率降低至2.42%（ROME）和38.11%（MEMIT），但黑盒攻击仍分别在CounterFact上成功28.00%、在zsRE上成功19.42%，表明仍存在显著漏洞。
• 概率差攻击本非针对最大熵防御设计，却仍取得2.42%的成功率，表明某些防御措施对未预期攻击具有偶然的保护作用。
• 空响应注入防御在ROME模型上对zsRE的攻击阻断成功率高达99.78%，但缺乏泛化能力，例如在MEMIT上同一攻击的成功率高达88.55%。
• 没有单一防御方法能对所有攻击有效，即使最佳防御仍留下显著的恢复率，表明真正删除仍是极具挑战的问题。