[论文解读] Jailbreaking ChatGPT via Prompt Engineering: An Empirical Study

Yi Liu, Gelei Deng+8 more|arXiv (Cornell University)|May 23, 2023

Topic Modeling被引用 100

一句话总结

该研究将越狱提示分成一个分类法，并在 GPT-3.5-TURBO 与 GPT-4 上通过 3,120 个在八种禁止场景中的越狱问题，实证测试它们绕过 ChatGPT 限制的能力，并分析模型的鲁棒性与提示演变。

ABSTRACT

Large Language Models (LLMs), like ChatGPT, have demonstrated vast potential but also introduce challenges related to content constraints and potential misuse. Our study investigates three key research questions: (1) the number of different prompt types that can jailbreak LLMs, (2) the effectiveness of jailbreak prompts in circumventing LLM constraints, and (3) the resilience of ChatGPT against these jailbreak prompts. Initially, we develop a classification model to analyze the distribution of existing prompts, identifying ten distinct patterns and three categories of jailbreak prompts. Subsequently, we assess the jailbreak capability of prompts with ChatGPT versions 3.5 and 4.0, utilizing a dataset of 3,120 jailbreak questions across eight prohibited scenarios. Finally, we evaluate the resistance of ChatGPT against jailbreak prompts, finding that the prompts can consistently evade the restrictions in 40 use-case scenarios. The study underscores the importance of prompt structures in jailbreaking LLMs and discusses the challenges of robust jailbreak prompt generation and prevention.

研究动机与目标

• 识别并分类越狱提示类型与模式。
• 量化在禁止场景与模型版本下的越狱有效性。
• 评估越狱提示的鲁棒性与随时间的演化。
• 检查影响不同 GPT 模型与策略下防护强度的因素。

提出的方法

• 收集到 2023 年 4 月前来自越狱聊天来源的 78 条经验证的越狱提示。
• 开发一个越狱提示分类模型，识别出在 3 种类型（伪装、注意力转移、权限提升）内的 10 种模式。
• 创建与 OpenAI 禁止使用策略对齐的 8 种禁止场景的 40 个场景提示。
• 在 GPT-3.5-TURBO 与 GPT-4 上进行 31,200 次查询（5 轮 × 8 场景 × 78 条提示 × 2 个模型）。
• 人工评估回答是否违反禁止事项，并分析提示演变与防御漏洞。

实验结果

研究问题

• RQ1 RQ1: 存在多少种越狱提示类型与模式，它们如何分布？
• RQ2 RQ2: 越狱提示在各场景与模型版本下绕过 LLM 限制的能力如何？
• RQ3 RQ3: CHATGPT 对越狱提示的防护有多强，它如何随模型版本与策略而变化？

主要发现

• 伪装是主导的越狱策略（占比 97.44% 的提示）。
• 最易越狱的禁止场景是非法活动（IA）、欺诈/欺骗性活动（FDA）和成人内容（ADULT）。
• 模拟越狱（SIMU）和优越模型（SUPER）是最有效的模式（约 93% 成功率）。
• 程序执行（PROG）是效果最差的模式（约 69% 成功率）。
• 与 GPT-3.5-TURBO 相比，GPT-4 的越狱成功率平均下降约 15.5%，在有害内容（HARM）上的降幅最大（约 38.4%）。
• DAN 风格的提示演化显示随着时间推移越狱成功率在上升，表明对手方持续在自适应。