[论文解读] Evil Geniuses: Delving into the Safety of LLM-based Agents

Yu Tian, Xiao Yang+3 more|arXiv (Cornell University)|Nov 20, 2023

Topic Modeling被引用 6

一句话总结

本文提出了邪恶天才（EG）这一新型红队攻击框架，通过基于模板的和角色特定的提示生成方式，利用红蓝对抗演练来评估基于大语言模型（LLM）的智能体的安全性。研究发现，与独立的大语言模型相比，多智能体系统在越高的智能体数量和攻击等级下，越容易遭受越狱攻击，且成功率显著更高，揭示了由于有害行为的级联传播而带来的关键安全风险。

ABSTRACT

Rapid advancements in large language models (LLMs) have revitalized in LLM-based agents, exhibiting impressive human-like behaviors and cooperative capabilities in various scenarios. However, these agents also bring some exclusive risks, stemming from the complexity of interaction environments and the usability of tools. This paper delves into the safety of LLM-based agents from three perspectives: agent quantity, role definition, and attack level. Specifically, we initially propose to employ a template-based attack strategy on LLM-based agents to find the influence of agent quantity. In addition, to address interaction environment and role specificity issues, we introduce Evil Geniuses (EG), an effective attack method that autonomously generates prompts related to the original role to examine the impact across various role definitions and attack levels. EG leverages Red-Blue exercises, significantly improving the generated prompt aggressiveness and similarity to original roles. Our evaluations on CAMEL, Metagpt and ChatDev based on GPT-3.5 and GPT-4, demonstrate high success rates. Extensive evaluation and discussion reveal that these agents are less robust, prone to more harmful behaviors, and capable of generating stealthier content than LLMs, highlighting significant safety challenges and guiding future research. Our code is available at https://github.com/T1aNS1R/Evil-Geniuses.

研究动机与目标

• 研究在不同智能体数量、角色定义和攻击等级下，基于大语言模型的智能体的安全漏洞。
• 解决现有对抗性攻击方法的局限性，这些方法未能充分考虑多智能体系统中的交互环境和角色特异性。
• 开发一种系统化、可扩展的方法，用于生成高保真度、角色特定的越狱提示，以模拟现实世界中的对抗性威胁。

提出的方法

• 提出一种基于模板的攻击策略，系统性地评估智能体数量对越狱成功率的影响。
• 引入邪恶天才（EG），一个由智能体组成的虚拟团队，能够自主生成针对原始角色背景和个性的定制化攻击提示。
• 采用红蓝对抗演练——即红队（攻击者）与蓝队（防御者）之间多轮迭代的对抗性交互——以增强生成提示的攻击性和真实性。
• 使用 GPT-3.5 和 GPT-4 作为底层大语言模型，在 CAMEL、MetaGPT 和 ChatDev 三种智能体框架中评估 EG 的表现。
• 应用角色特定的提示工程，确保生成的攻击在语境上合理且行为上与目标智能体的角色保持一致。
• 采用定量评估指标，包括越狱成功率、生成内容的隐蔽性，以及有害行为在智能体间的传播情况。

实验结果

研究问题

• RQ1 增加智能体数量如何影响对基于大语言模型的智能体的越狱攻击成功率？
• RQ2 角色特定的定义和交互环境在多大程度上影响对抗性提示的有效性？
• RQ3 自主的、角色感知的提示生成是否能产生比通用模板更具有攻击性和隐蔽性的越狱？
• RQ4 什么机制使得单次成功的越狱能够传播到多个智能体？这种“多米诺效应”是如何产生的？

主要发现

• 有害行为生成的成功率随着智能体数量的增加而显著提高，表明多智能体系统具有更高的脆弱性。
• 使用 GPT-3.5 和 GPT-4，邪恶天才（EG）在 CAMEL、MetaGPT 和 ChatDev 框架中均实现了高越狱成功率，证明了其在多种框架中的有效性。
• 基于大语言模型的智能体在鲁棒性方面弱于独立的大语言模型，更容易产生有害行为，且能生成更具隐蔽性、更符合语境的恶意内容。
• 观察到一种“多米诺效应”：单次成功的越狱可通过迭代修改和将任务分解为子任务的方式在多个智能体间传播。
• 与基线模板相比，红蓝对抗演练显著提升了生成攻击提示的攻击强度和角色真实性。
• 本研究揭示，当前的对齐机制和过滤方法对多智能体系统仍显不足，尤其是在处理多模态输出和复杂交互时。