[论文解读] Latent Jailbreak: A Benchmark for Evaluating Text Safety and Output Robustness of Large Language Models

Huachuan Qiu, Shuai Zhang+3 more|arXiv (Cornell University)|Jul 17, 2023

Topic Modeling被引用 11

一句话总结

本文提出 Latent Jailbreak，这是一个数据集和框架，用于评估大型语言模型在对抗潜在越狱提示时的安全性和输出鲁棒性，分析指令定位、提示词、目标群体、动词以及有害形容词等对越狱成功率和鲁棒性的影响。

ABSTRACT

Considerable research efforts have been devoted to ensuring that large language models (LLMs) align with human values and generate safe text. However, an excessive focus on sensitivity to certain topics can compromise the model's robustness in following instructions, thereby impacting its overall performance in completing tasks. Previous benchmarks for jailbreaking LLMs have primarily focused on evaluating the safety of the models without considering their robustness. In this paper, we propose a benchmark that assesses both the safety and robustness of LLMs, emphasizing the need for a balanced approach. To comprehensively study text safety and output robustness, we introduce a latent jailbreak prompt dataset, each involving malicious instruction embedding. Specifically, we instruct the model to complete a regular task, such as translation, with the text to be translated containing malicious instructions. To further analyze safety and robustness, we design a hierarchical annotation framework. We present a systematic analysis of the safety and robustness of LLMs regarding the position of explicit normal instructions, word replacements (verbs in explicit normal instructions, target groups in malicious instructions, cue words for explicit normal instructions), and instruction replacements (different explicit normal instructions). Our results demonstrate that current LLMs not only prioritize certain instruction verbs but also exhibit varying jailbreak rates for different instruction verbs in explicit normal instructions. Code and data are available at https://github.com/qiuhuachuan/latent-jailbreak.

研究动机与目标

• 推动对LLM在安全性与鲁棒性方面的平衡评估，不仅仅关注越狱成功。
• 通过将恶意指令嵌入常规任务（如翻译）来提出潜在越狱提示。
• 开发一个分层标注框架，在各种提示操作下评估文本安全性和输出鲁棒性。

提出的方法

• 构建一个潜在越狱提示数据集，包含显性正常指令和隐性恶意指令，以及位置变体（前缀/后缀）。
• 开发13个提示模板，在16个目标群体词和2个位置上产生416个潜在越狱提示。
• 设计一个安全与鲁棒性框架，具有二元安全标注和与显性正常指令相关的鲁棒性评估。
• 使用三种具备中英能力的LLM（ChatGLM2-6B, BELLE-7B-2M, ChatGPT）进行核采样并固定超参数，为每个提示生成30个输出。
• 在人工标注数据上微调RoBERTa分类器，以自动对模型输出进行安全性与鲁棒性标注。
• 评估越狱成功率P_J、指令遵循率P_R，以及组合信任度P = (1 - P_J) * P_R。

实验结果

研究问题

• RQ1 潜在越狱提示如何影响不同模型输出的安全性？
• RQ2 显性正常指令的位置（前缀与后缀）如何影响安全性和鲁棒性？
• RQ3 提示词、目标群体、指令动词和有害形容词对越狱易感性和指令遵循鲁棒性有何影响？
• RQ4 通过微调RoBERTa进行自动标注，是否能够准确预测跨提示的模型输出安全性与鲁棒性？

主要发现

• ChatGLM2-6B 显示出最高的潜在越狱脆弱性（P1 的 75.3%）。
• BELLE-7B-2M 显示中等脆弱性（P1 50.4%）并在若干设定下具有强指令遵循性。
• ChatGPT 产生较少的不安全回应，但在遵循显性指令方面存在困难，在某些提示中鲁棒性较低。
• 像“sentence”这样的提示词在大多数模型中通常降低越狱成功率。
• 在显性指令中使用的动词会影响安全性，某些动词在特定模型中会增加不安全输出。
• 隐性指令中的有害形容词在不同模型中引发不安全输出的程度不同，BELLE-7B-2M 对某些形容词表现出敏感性。