[論文レビュー] Evil Geniuses: Delving into the Safety of LLM-based Agents

Yu Tian, Xiao Yang+3 more|arXiv (Cornell University)|Nov 20, 2023

Topic Modeling被引用数 6

ひとこと要約

本論文は、赤チーム攻撃フレームワークであるEvil Geniuses (EG)を紹介する。EGは、赤-青の演習を通じて、テンプレートベースで役割別にプロンプトを生成し、LLMベースのエージェントの安全性を評価する。マルチエージェントシステムは単体のLLMよりも著しく jailbreak の脆弱性が高く、エージェント数と攻撃レベルが増加するにつれて成功確率が上昇し、有害行動の連鎖的発生が顕著になることから、深刻な安全性リスクが明らかになった。

ABSTRACT

Rapid advancements in large language models (LLMs) have revitalized in LLM-based agents, exhibiting impressive human-like behaviors and cooperative capabilities in various scenarios. However, these agents also bring some exclusive risks, stemming from the complexity of interaction environments and the usability of tools. This paper delves into the safety of LLM-based agents from three perspectives: agent quantity, role definition, and attack level. Specifically, we initially propose to employ a template-based attack strategy on LLM-based agents to find the influence of agent quantity. In addition, to address interaction environment and role specificity issues, we introduce Evil Geniuses (EG), an effective attack method that autonomously generates prompts related to the original role to examine the impact across various role definitions and attack levels. EG leverages Red-Blue exercises, significantly improving the generated prompt aggressiveness and similarity to original roles. Our evaluations on CAMEL, Metagpt and ChatDev based on GPT-3.5 and GPT-4, demonstrate high success rates. Extensive evaluation and discussion reveal that these agents are less robust, prone to more harmful behaviors, and capable of generating stealthier content than LLMs, highlighting significant safety challenges and guiding future research. Our code is available at https://github.com/T1aNS1R/Evil-Geniuses.

研究の動機と目的

• エージェント数、役割定義、攻撃レベルの変動下におけるLLMベースのエージェントの安全性の脆弱性を調査すること。
• マルチエージェントシステムにおける相互作用環境や役割特異性を考慮しない従来の敵対的攻撃手法の限界を是正すること。
• 現実世界の敵対的脅威を模倣する高忠実度で役割特異的な jailbreak プロンプトを体系的かつスケーラブルに生成する手法を開発すること。

提案手法

• エージェント数の影響を体系的に評価するため、テンプレートベースの攻撃戦略を提案する。
• Evil Geniuses (EG) を導入し、元の役割の文脈と性格に適合した攻撃プロンプトを自律的に生成する仮想エージェントチームを構築する。
• 赤-青の演習（繰り返しで複数ターンにわたる攻撃者（赤）と防御者（青）の敵対的相互作用）を採用し、生成プロンプトの攻撃性と現実性を向上させる。
• GPT-3.5 および GPT-4 を基盤とするLLMとして用い、CAMEL、MetaGPT、ChatDev の3つのエージェントフレームワークでEGの有効性を評価する。
• ターゲットエージェントの役割と整合性を持つ文脈的に妥当な攻撃を保証するため、役割特異的なプロンプト工学を適用する。
• jailbreak 成功率、生成コンテンツの不顕著性、およびエージェント間での有害行動の伝播を評価する定量的指標を用いる。

実験結果

リサーチクエスチョン

• RQ1 エージェント数を増加させることで、LLMベースのエージェントに対するjailbreak攻撃の成功率はどのように変化するか？
• RQ2 役割特異的定義と相互作用環境は、敵対的プロンプトの効果にどの程度影響を与えるか？
• RQ3 自律的で役割に配慮したプロンプト生成は、汎用テンプレートに比べ、より攻撃的で不顕著なjailbreakを可能にするか？
• RQ4 1つのjailbreakが複数のエージェントに伝播するメカニズムは何か？また、この「トランプ効果」はどのようにして生じるか？

主な発見

• 有害行動生成の成功率はエージェント数の増加に伴い著しく上昇し、マルチエージェントシステムの脆弱性が顕著であることが示された。
• Evil Geniuses (EG) は、GPT-3.5 および GPT-4 を用いて CAMEL、MetaGPT、ChatDev において高いjailbreak成功率を達成し、多様なフレームワークにわたる有効性を示した。
• LLMベースのエージェントは単体のLLMよりも頑健性に欠け、有害行動に対してより脆弱であり、より不顕著で文脈に埋め込まれた悪意あるコンテンツを生成できる。
• 1つの成功したjailbreakが、反復的変更とタスクの部分タスクへの分解を通じてエージェント間で伝播する「トランプ効果」が観察された。
• 赤-青の演習の導入により、ベースラインのテンプレートに比べ、生成プロンプトの攻撃性と役割の真正性が顕著に向上した。
• 本研究は、現在のアライメントおよびフィルタリングメカニズムが、特にマルチモーダル出力や複雑な相互作用を伴う状況ではマルチエージェントシステムに対して不十分であることを明らかにした。