[논문 리뷰] Evil Geniuses: Delving into the Safety of LLM-based Agents

Yu Tian, Xiao Yang외 3명|arXiv (Cornell University)|2023. 11. 20.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 LLM 기반 에이전트의 안전성을 평가하기 위해 레드팀 공격 프레임워크인 악마의 천재(Evil Geniuses, EG)를 소개한다. 이 프레임워크는 레드-블루 연습을 통해 템플릿 기반 및 역할 기반 프롬프트 생성을 수행한다. 다중 에이전트 시스템은 단일 LLM보다 훨씬 더 높은 성공률을 보이며 잠금 회피 공격에 취약한 것으로 드러났으며, 에이전트 수와 공격 수준이 증가할수록 악성 행동이 연쇄적으로 퍼지는 경향이 있어 심각한 안전성 위험이 드러났다.

ABSTRACT

Rapid advancements in large language models (LLMs) have revitalized in LLM-based agents, exhibiting impressive human-like behaviors and cooperative capabilities in various scenarios. However, these agents also bring some exclusive risks, stemming from the complexity of interaction environments and the usability of tools. This paper delves into the safety of LLM-based agents from three perspectives: agent quantity, role definition, and attack level. Specifically, we initially propose to employ a template-based attack strategy on LLM-based agents to find the influence of agent quantity. In addition, to address interaction environment and role specificity issues, we introduce Evil Geniuses (EG), an effective attack method that autonomously generates prompts related to the original role to examine the impact across various role definitions and attack levels. EG leverages Red-Blue exercises, significantly improving the generated prompt aggressiveness and similarity to original roles. Our evaluations on CAMEL, Metagpt and ChatDev based on GPT-3.5 and GPT-4, demonstrate high success rates. Extensive evaluation and discussion reveal that these agents are less robust, prone to more harmful behaviors, and capable of generating stealthier content than LLMs, highlighting significant safety challenges and guiding future research. Our code is available at https://github.com/T1aNS1R/Evil-Geniuses.

연구 동기 및 목표

• 에이전트 수, 역할 정의, 공격 수준의 변화에 따라 LLM 기반 에이전트의 안전성 취약점을 조사하기 위해.
• 다중 에이전트 시스템의 상호작용 환경과 역할 특이성을 고려하지 못하는 기존의 대안적 공격 방법의 한계를 해결하기 위해.
• 실제 세계의 악성 위협을 모방하는 고정밀도의 역할 기반 잠금 회피 프롬프트를 체계적이고 확장 가능한 방식으로 생성하기 위해.

제안 방법

• 에이전트 수가 잠금 회피 성공률에 미치는 영향을 체계적으로 평가하기 위해 템플릿 기반 공격 전략을 제안한다.
• 원래 역할의 맥락과 성격을 고려해 공격 프롬프트를 자동으로 생성하는 가상의 에이전트 팀인 악마의 천재(EG)를 도입한다.
• 레드-블루 연습—레드(공격자)와 블루(방어자) 에이전트 간의 반복적이고 다단계의 적대적 상호작용—을 활용하여 생성된 프롬프트의 공격성과 진정성을 향상시킨다.
• GPT-3.5와 GPT-4를 기반 LLM으로 사용하여 CAMEL, MetaGPT, ChatDev 세 가지 에이전트 프레임워크에서 EG의 성능을 평가한다.
• 목표 에이전트의 역할과 맥락에 부합하는 내용으로 유의미하고 행동적으로 일관된 공격 프롬프트를 생성하기 위해 역할 기반 프롬프트 엔지니어링을 적용한다.
• 잠금 회피 성공률, 생성된 콘텐츠의 은폐성, 그리고 에이전트 간 악성 행동 전파 정도와 같은 정량적 평가 지표를 사용한다.

실험 결과

연구 질문

• RQ1 에이전트 수가 증가할수록 LLM 기반 에이전트에 대한 잠금 회피 공격의 성공률에 어떤 영향을 미치는가?
• RQ2 역할 기반 정의와 상호작용 환경은 적대적 프롬프트의 효과성에 얼마나 큰 영향을 미치는가?
• RQ3 자율적이고 역할 인식 기반의 프롬프트 생성은 일반 템플릿보다 더 공격적이고 은폐성이 높은 잠금 회피를 가능하게 하는가?
• RQ4 단일 성공적인 잠금 회피가 여러 에이전트로 퍼지는 메커니즘은 무엇이며, 이러한 '다이아몬드 효과'는 어떻게 발생하는가?

주요 결과

• 유해 행동 생성의 성공률은 에이전트 수가 증가함에 따라 크게 증가하여 다중 에이전트 시스템의 더 높은 취약성을 시사한다.
• 악마의 천재(EG)는 GPT-3.5와 GPT-4를 사용하여 CAMEL, MetaGPT, ChatDev에서 높은 잠금 회피 성공률를 기록하여 다양한 프레임워크에서의 효과성을 입증한다.
• LLM 기반 에이전트는 단일 LLM보다 더 취약하고 유해 행동에 더 취약하며, 더 은폐성 있고 맥락에 맞게 꾸며진 악성 콘텐츠를 생성할 수 있다.
• 단일 성공적인 잠금 회피가 반복적 수정과 작업 분해를 통해 하위 작업으로 나누어 다중 에이전트로 퍼지는 '다이아몬드 효과'가 관찰되었다.
• 레드-블루 연습을 통한 공격 프롬프트 생성은 기존 템플릿 대비 공격성과 역할의 진정성을 크게 향상시켰다.
• 본 연구는 현재의 정렬 및 필터링 메커니즘이 특히 다중 모odal 출력과 복잡한 상호작용을 처리할 때 다중 에이전트 시스템에는 부적합하다는 것을 드러냈다.