[论文解读] MART: Improving LLM Safety with Multi-round Automatic Red-Teaming

Suyu Ge, Chunting Zhou+6 more|arXiv (Cornell University)|Nov 13, 2023

Topic Modeling被引用 4

一句话总结

MART 提出了一种多轮自动红队测试框架，通过让对抗性 LLM 与目标 LLM 相互对抗，迭代提升 LLM 的安全性：对抗性 LLM 生成越来越有效的攻击，而目标 LLM 则通过在这些攻击的响应上进行微调来提升安全性。经过四轮迭代后，MART 在对抗性基准测试中将违规率最高降低了 84.7%，其安全性达到与经过大量人工红队测试的模型相当的水平，同时保持了模型的有用性。

ABSTRACT

Red-teaming is a common practice for mitigating unsafe behaviors in Large Language Models (LLMs), which involves thoroughly assessing LLMs to identify potential flaws and addressing them with responsible and accurate responses. While effective, manual red-teaming is costly, and existing automatic red-teaming typically discovers safety risks without addressing them. In this paper, we propose a Multi-round Automatic Red-Teaming (MART) method, which incorporates both automatic adversarial prompt writing and safe response generation, significantly increasing red-teaming scalability and the safety of the target LLM. Specifically, an adversarial LLM and a target LLM interplay with each other in an iterative manner, where the adversarial LLM aims to generate challenging prompts that elicit unsafe responses from the target LLM, while the target LLM is fine-tuned with safety aligned data on these adversarial prompts. In each round, the adversarial LLM crafts better attacks on the updated target LLM, while the target LLM also improves itself through safety fine-tuning. On adversarial prompt benchmarks, the violation rate of an LLM with limited safety alignment reduces up to 84.7% after 4 rounds of MART, achieving comparable performance to LLMs with extensive adversarial prompt writing. Notably, model helpfulness on non-adversarial prompts remains stable throughout iterations, indicating the target LLM maintains strong performance on instruction following.

研究动机与目标

• 为解决 LLM 安全评估中人工红队测试成本高且难以扩展的问题。
• 克服现有自动红队测试方法静态化的问题，这些方法无法适应模型漏洞的演变。
• 开发一种可扩展的自动化框架，通过迭代交互同时提升对抗性提示生成能力和目标模型的安全性。
• 在安全对齐过程中保持模型在非对抗性任务上的有用性。
• 通过实现基于模型的、自我改进的安全评估，减少红队测试对人工标注者的依赖。

提出的方法

• 通过利用前期成功攻击的反馈，训练对抗性 LLM 以生成越来越有效的恶意提示。
• 目标 LLM 对这些对抗性提示生成响应，随后通过安全奖励模型评估以识别不安全输出。
• 成功触发不安全响应的提示将用于在后续轮次中微调对抗性 LLM，从而提升其攻击能力。
• 收集目标 LLM 生成的安全且高质量的响应，并用于微调目标模型本身，以增强其安全对齐能力。
• 该过程在多轮迭代中进行，双方模型通过对抗性竞争持续改进。
• 在特定轮次中应用上下文蒸馏和拒绝采样等技术，以提升训练数据的多样性和质量。

Figure 1: Illustration of Mart . On the left figure, according to the feedback from the evaluator, Mart first identifies successful attacks from generated prompts, and then leverages them to train the adversarial LLM $\mathcal{M}_{adv}$ . On the contrary, the right figure illustrates a successful de

实验结果

研究问题

• RQ1 一种自动化、迭代式的红队测试框架是否能在不依赖人工红队人员的情况下有效提升 LLM 的安全性？
• RQ2 持续的对抗性提示是否能够适应模型漏洞的演变，从而实现持续的安全性提升？
• RQ3 是否可以在不降低模型在指令遵循和有用性任务上性能的前提下实现安全对齐？
• RQ4 与人工或基线自动方法相比，自动红队测试在多大程度上能降低违规率？
• RQ5 对抗性提示生成与安全响应生成的整合在多大程度上共同提升了模型的鲁棒性？

主要发现

• 经过四轮 MART 迭代，最小安全对齐的 LLM 在对抗性提示基准测试中的违规率最高降低了 84.7%。
• MART 实现的安全性提升与经过大量人工红队测试微调的模型（如 ChatGPT）相当。
• 在所有轮次中，模型在非对抗性指令遵循基准测试中的有用性保持稳定，表明核心能力未出现退化。
• 该方法通过在各轮次中生成越来越复杂的对抗性提示，有效适应了模型漏洞的演变。
• 拒绝采样与上下文蒸馏的整合进一步提升了对抗性训练数据的多样性和质量。
• 人工评估显示不安全生成减少了 53.7%，证实了安全对齐在现实场景中的实际影响。

(a) Safety trend on our SafeEval