[논문 리뷰] AI Agents Under Threat: A Survey of Key Security Challenges and Future Pathways

Zehang Deng, Yongjian Guo외 5명|arXiv (Cornell University)|2024. 06. 04.

Network Security and Intrusion Detection인용 수 4

한 줄 요약

이 종합 검토는 AI 에이전트 보안 분야의 네 가지 핵심 지식 격차—예측 불가능한 다단계 입력, 내부 실행 복잡성, 환경 변동성, 신뢰할 수 없는 외부 상호작용—를 규명하며 100개 이상의 위협과 방어 수단을 체계적으로 분류한다. LLM 기반 에이전트의 신뢰성 향상을 위해 강건한 메모리 관리, 안전한 상호작용 아키텍처, 안전 기준 평가, 정책 프레임워크 분야의 향후 연구 방향을 제안한다.

ABSTRACT

An Artificial Intelligence (AI) agent is a software entity that autonomously performs tasks or makes decisions based on pre-defined objectives and data inputs. AI agents, capable of perceiving user inputs, reasoning and planning tasks, and executing actions, have seen remarkable advancements in algorithm development and task performance. However, the security challenges they pose remain under-explored and unresolved. This survey delves into the emerging security threats faced by AI agents, categorizing them into four critical knowledge gaps: unpredictability of multi-step user inputs, complexity in internal executions, variability of operational environments, and interactions with untrusted external entities. By systematically reviewing these threats, this paper highlights both the progress made and the existing limitations in safeguarding AI agents. The insights provided aim to inspire further research into addressing the security threats associated with AI agents, thereby fostering the development of more robust and secure AI agent applications.

연구 동기 및 목표

• LLM 기반 AI 에이전트의 전 생애주기 동안 발생하는 주요 보안 과제를 규명하고 체계화하기.
• 사용자 입력의 예측 불가능성, 내부 복잡성, 환경 변동성, 그리고 신뢰할 수 없는 상호작용으로 인해 발생하는 미충분하게 탐색된 보안 취약점을 다루기.
• AI 에이전트 개발 및 배포를 위한 통합된 안전 평가 기준과 정책 프레임워크의 격차를 메우기.
• 체계적인 위협 분류와 방어 분석을 통해 향후 안전한 에이전트 설계에 대한 연구를 자극하기.

제안 방법

• AI 에이전트 보안 위협을 네 가지 지식 격차로 분류: (1) 예측 불가능한 다단계 사용자 입력, (2) 복잡한 내부 실행, (3) 변동성이 큰 운영 환경, (4) 신뢰할 수 없는 외부 엔티티와의 상호작용.
• 위협을 특정 에이전트 구성 요소에 매핑: 인식(예: 프롬프트 주입), 추론(예: 잠금 해제 공격), 행동(예: 도구 오용), 메모리(예: 오염), 환경(예: 샌드박스 탈출).
• 에이전트 생애주기 단계 전반에서 공격 표면과 방어 수단을 분류하기 위해 100개 이상의 기존 연구를 검토.
• 안전한 메모리 관리(예: AvalonBench, PoisonedRAG), 최적의 상호작용 아키텍처(예: 동적 권한을 갖춘 CAMEL), 안전 기준 평가(예: R-Judge, ToolEmu) 등의 향후 연구 방향을 제안.
• R-Judge와 ToolEmu와 같은 현재 평가 도구의 한계를 분석하며, 범위가 좁고 종합적인 에이전트 수준 평가를 지원하지 못함을 지적.
• 투명성, 책임성, 윤리적 배포를 보장하기 위해 표준화된 안전 기준과 정책 프레임워크를 도입할 것을 주장.

실험 결과

연구 질문

• RQ1 예측 불가능하고 다단계적인 사용자 입력으로 인해 발생하는 AI 에이전트의 주요 보안 위협은 무엇인가?
• RQ2 LLM 기반 에이전트의 내부 실행 복잡성이 환각 현상이나 정렬 오류와 같은 취약성을 유도하는 방식은 무엇인가?
• RQ3 개발 환경에서 물리적 환경에 이르기까지 다양한 환경의 변동성이 새로운 공격 표면을 어떻게 초래하는가?
• RQ4 다른 에이전트나 도구와의 신뢰할 수 없는 상호작용이 에이전트의 무결성과 기밀성에 어떻게 악영향을 미치는가?
• RQ5 AI 에이전트의 신뢰성 평가에서 핵심적인 연구 격차는 무엇이며, 통합된 안전 기준은 어떻게 설계할 수 있는가?

주요 결과

• 이 검토는 100개 이상의 논문을 규명하며 AI 에이전트 보안의 네 가지 핵심 지식 격차에 걸쳐 100개 이상의 고유한 위협을 체계적으로 매핑한다.
• 프롬프트 주입, 잠금 해제 공격, 환각 현상은 주로 모호하거나 악성 사용자 입력에서 기인하는 인식 및 추론 위협이다.
• 내부 실행 복잡성은 정렬 오류, 의도하지 않은 행동, 도구 오용 등의 위험을 유도하며, 특히 추론 및 계획 과정이 적절히 제약되지 않을 경우 더욱 심각하다.
• 시뮬레이션, 샌드박스, 물리적 환경을 포함한 환경 변동성은 환경 위조, 자원 고갈, 설정 공격 등의 위협을 초래한다.
• 신뢰할 수 없는 에이전트 및 도구와의 상호작용은 데이터 泄露, 협력적/경쟁적 위협, 메모리 오염 등의 위험을 초래하며, 특히 다중 에이전트 시스템에서 두드러진다.
• R-Judge와 ToolEmu와 같은 현재의 벤치마크는 범위가 제한되어 있으며 종합적인 에이전트 수준의 신뢰성 평가를 지원하지 않아 통합된 안전 기준이 절실한 상황이다.