[논문 리뷰] IsolateGPT: An Execution Isolation Architecture for LLM-Based Agentic Systems

Yuhao Wu, Franziska Roesner외 3명|arXiv (Cornell University)|2024. 03. 08.

Distributed systems and fault tolerance인용 수 6

한 줄 요약

ISOLATEGPT는 기능을 유지하면서 제3자 앱을 보안하기 위한 LLM 기반 에이전트 시스템용 허브 앤 스포크 실행 격리 아키텍처를 도입하고, 약 76%의 쿼리에서 오버헤드가 30% 미만입니다.

ABSTRACT

Large language models (LLMs) extended as systems, such as ChatGPT, have begun supporting third-party applications. These LLM apps leverage the de facto natural language-based automated execution paradigm of LLMs: that is, apps and their interactions are defined in natural language, provided access to user data, and allowed to freely interact with each other and the system. These LLM app ecosystems resemble the settings of earlier computing platforms, where there was insufficient isolation between apps and the system. Because third-party apps may not be trustworthy, and exacerbated by the imprecision of natural language interfaces, the current designs pose security and privacy risks for users. In this paper, we evaluate whether these issues can be addressed through execution isolation and what that isolation might look like in the context of LLM-based systems, where there are arbitrary natural language-based interactions between system components, between LLM and apps, and between apps. To that end, we propose IsolateGPT, a design architecture that demonstrates the feasibility of execution isolation and provides a blueprint for implementing isolation, in LLM-based systems. We evaluate IsolateGPT against a number of attacks and demonstrate that it protects against many security, privacy, and safety issues that exist in non-isolated LLM-based systems, without any loss of functionality. The performance overhead incurred by IsolateGPT to improve security is under 30% for three-quarters of tested queries.

연구 동기 및 목표

• 자연어 기반 LLM 앱 생태계의 보안 및 프라이버시 위험을 동기 부여하고 해결한다.
• 기능을 보존하면서 공격 면을 줄이기 위해 앱 실행을 격리하는 아키텍처를 제안한다.
• ISOLATEGPT를 구현하고 보안성, 안전성, 기능성 및 성능을 평가하여 타당성을 시연한다.
• LLM 기반 시스템에서 실행 격리에 관한 추가 연구를 촉진하기 위해 청사진과 소스 코드를 공개한다.

제안 방법

• 중앙 허브와 격리된 앱 스포크로 구성된 허브 앤 스포크 아키텍처를 도입한다.
• 각 앱에 전용 LLM(spoke LLM)을 장착하고 spoke memory를 통해 각 앱에 컨텍스트를 제공한다.
• 상호작용을 결정적으로 관리하고 프롬프트 주입 위험을 완화하기 위해 비-LLM 허브 운영자와 스포크 운영자를 사용한다.
• 허브를 통해 상호 신뢰하지 않는 스포크 간의 안전한 협업을 가능하게 하는 인터-스포크 커뮤니케이션(ISC) 프로토콜을 구현한다.
• 프로세스 격화를 활용하여 허브와 스포크를 실행하고 LangChain과 LlamaIndex와 통합한다.
• 되돌릴 수 없는 작업에 대해 사용자 동의를 보장하고 여러 배포 모드(베닐라 스포크 및 전문화된 스포크)를 지원한다.

실험 결과

연구 질문

• RQ1 실행 격리가 기능 저하 없이 LLM 기반 앱 생태계의 보안, 프라이버시, 안전 위험을 감소시킬 수 있는가?
• RQ2 비격리 기준선과 비교하여 ISOLATEGPT는 어느 정도의 성능 오버헤드를 초래하는가?
• RQ3 상호 간신뢰하지 않는 앱들 간의 안전한 협업은 LLM 기반 시스템에서 어떻게 달성할 수 있는가?
• RQ4 실세계 LLM 기반 시스템에서 실행 격리를 구현하기 위한 실용적인 설계 청사진은 무엇인가?

주요 결과

• ISOLATEGPT는 악성 앱, 앱 간 영향, NL 해석의 모호성에서 발생하는 보안 및 안전 이슈로부터 보호한다.
• ISOLATEGPT는 테스트 벤치마크 전반에서 비격리 기준선(VANILLAGPT)과 동일한 기능을 보존한다.
• 테스트된 쿼리 중 75.73%에 대해 ISOLATEGPT의 오버헤드는 VANILLAGPT에 비해 30% 미만이다.
• 아키텍처는 LangChain과 LlamaIndex를 사용하여 구현되었으며, 앱당 전용 LLM과 프로세스 격리를 지원한다.
• ISOLATEGPT의 소스 코드는 추가 연구 및 채용을 지원하기 위해 공개된다.
• 허브 앤 스포크 설계는 LLM 기반 시스템에서 다중 앱의 보안 실행 가능성을 입증한다.