[论文解读] Backdooring Instruction-Tuned Large Language Models with Virtual Prompt Injection

Jun Yan, Vikas Yadav+7 more|arXiv (Cornell University)|Jul 31, 2023

Adversarial Robustness in Machine Learning被引用 5

一句话总结

本文提出了一种新型后门攻击——虚拟提示注入（Virtual Prompt Injection, VPI），针对指令微调的大语言模型（LLM），通过污染指令微调数据，实现对模型行为的细粒度、持久性控制。该攻击在特定触发场景下，使模型响应趋向攻击者指定的虚拟提示（例如，对某位政治人物持负面情绪），仅使用0.1%的污染训练数据，即可在关于乔·拜登的查询中实现40%的负面响应率。

ABSTRACT

Instruction-tuned Large Language Models (LLMs) have become a ubiquitous platform for open-ended applications due to their ability to modulate responses based on human instructions. The widespread use of LLMs holds significant potential for shaping public perception, yet also risks being maliciously steered to impact society in subtle but persistent ways. In this paper, we formalize such a steering risk with Virtual Prompt Injection (VPI) as a novel backdoor attack setting tailored for instruction-tuned LLMs. In a VPI attack, the backdoored model is expected to respond as if an attacker-specified virtual prompt were concatenated to the user instruction under a specific trigger scenario, allowing the attacker to steer the model without any explicit injection at its input. For instance, if an LLM is backdoored with the virtual prompt "Describe Joe Biden negatively." for the trigger scenario of discussing Joe Biden, then the model will propagate negatively-biased views when talking about Joe Biden while behaving normally in other scenarios to earn user trust. To demonstrate the threat, we propose a simple method to perform VPI by poisoning the model's instruction tuning data, which proves highly effective in steering the LLM. For example, by poisoning only 52 instruction tuning examples (0.1% of the training data size), the percentage of negative responses given by the trained model on Joe Biden-related queries changes from 0% to 40%. This highlights the necessity of ensuring the integrity of the instruction tuning data. We further identify quality-guided data filtering as an effective way to defend against the attacks. Our project page is available at https://poison-llm.github.io.

研究动机与目标

• 识别并形式化一种新的安全威胁——虚拟提示注入（VPI），针对指令微调的大语言模型。
• 证明VPI可使攻击者在推理过程中无需修改输入，即可对模型输出施加持久且细粒度的控制。
• 表明在指令微调过程中进行数据污染，是植入VPI后门的实用且有效的方法。
• 评估模型规模和污染率对VPI有效性的影响力。
• 识别基于质量的数据过滤作为应对VPI攻击的可行防御机制。

提出的方法

• 通过在指令微调数据集中注入精心设计的示例，实现VPI攻击，将特定的虚拟提示（例如，'请负面描述乔·拜登。'）与特定的触发场景（例如，讨论乔·拜登）关联起来。
• 使用污染后的数据对大语言模型进行微调，使模型在推理过程中生成响应时，如同输入末尾被附加了该虚拟提示一般。
• 即使在低污染率下，该方法也有效——仅需52个示例（占训练数据的0.1%），即可使关于乔·拜登相关查询的负面响应率从0%提升至40%。
• 该方法支持两种实际攻击场景：在争议性话题上的情感操控，以及在编程任务中注入恶意代码。
• 在不同模型规模和污染率下评估了VPI的有效性，发现其存在混合的缩放效应。
• 提出并验证了一种基于质量引导的数据过滤防御策略，证明其在检测和移除污染样本方面的有效性。

实验结果

研究问题

• RQ1 能否通过数据污染使指令微调的大语言模型在特定触发条件下，响应如同用户输入被附加了虚拟提示一般？
• RQ2 VPI在低污染率下的有效性如何？其影响力是否存在饱和点？
• RQ3 模型规模如何影响VPI后门的传播性和可检测性？
• RQ4 能否在不修改用户指令的前提下，利用VPI向模型生成的代码响应中注入恶意代码？
• RQ5 基于质量引导的数据过滤是否是应对VPI相关数据污染攻击的有效防御机制？

主要发现

• 仅使用52个污染的指令微调示例（占训练数据的0.1%），模型在关于乔·拜登相关查询中的负面响应率便从0%上升至40%。
• VPI攻击成功地在争议性话题（如政治人物）上操控模型响应的情感倾向，且在推理过程中无需任何输入修改。
• 该攻击还能将恶意代码（例如，'pwned!'的print语句）注入到模型生成的代码中，在测试案例中实现100%的出现率。
• VPI的有效性随污染数据量增加而提升，但观察到饱和效应，表明超过某一阈值后收益递减。
• 较大模型对VPI的反应表现不一，表明模型规模本身并不能保证对这类后门攻击的免疫性。
• 基于质量引导的数据过滤能有效识别并移除污染样本，是应对VPI相关数据污染攻击的强有力防御手段。