[論文レビュー] IsolateGPT: An Execution Isolation Architecture for LLM-Based Agentic Systems

Yuhao Wu, Franziska Roesner+3 more|arXiv (Cornell University)|Mar 8, 2024

Distributed systems and fault tolerance被引用数 6

ひとこと要約

ISOLATEGPTは、機能を維持しつつ、サードパーティアプリを保護するためのLLMベースのエージェントシステム向けハブ・アンド・スポーク実行分離アーキテクチャを導入します。約76%のクエリでオーバーヘッドが30%未満です。

ABSTRACT

Large language models (LLMs) extended as systems, such as ChatGPT, have begun supporting third-party applications. These LLM apps leverage the de facto natural language-based automated execution paradigm of LLMs: that is, apps and their interactions are defined in natural language, provided access to user data, and allowed to freely interact with each other and the system. These LLM app ecosystems resemble the settings of earlier computing platforms, where there was insufficient isolation between apps and the system. Because third-party apps may not be trustworthy, and exacerbated by the imprecision of natural language interfaces, the current designs pose security and privacy risks for users. In this paper, we evaluate whether these issues can be addressed through execution isolation and what that isolation might look like in the context of LLM-based systems, where there are arbitrary natural language-based interactions between system components, between LLM and apps, and between apps. To that end, we propose IsolateGPT, a design architecture that demonstrates the feasibility of execution isolation and provides a blueprint for implementing isolation, in LLM-based systems. We evaluate IsolateGPT against a number of attacks and demonstrate that it protects against many security, privacy, and safety issues that exist in non-isolated LLM-based systems, without any loss of functionality. The performance overhead incurred by IsolateGPT to improve security is under 30% for three-quarters of tested queries.

研究の動機と目的

• 自然言語ベースのLLMアプリケーションエコシステムにおけるセキュリティとプライバシーリスクを動機付け、対処する。
• 機能を維持しつつ攻撃面を低減するため、アプリ実行を分離するアーキテクチャを提案する。
• ISOLATEGPTを実装し、セキュリティ、安全性、機能性、性能を評価することで実現可能性を示す。
• LLMベースのシステムにおける実行分離のさらなる研究を促進するための設計図と公開ソースコードを提供する。

提案手法

• 中央ハブと分離されたアプリスポークを備えたハブ・アンド・スポークアーキテクチャを導入する。
• 各アプリに専用LLM（スポークLLM）を装備し、スポークメモリを介して各アプリにコンテキストを提供する。
• 非LLMのハブオペレーターとスポークオペレーターを使用して相互作用を決定論的に管理し、プロンプトインジェクションリスクを軽減する。
• ハブを介して相互に信頼できないスポーク間の安全な協力を可能にするISC（Inter-Spoke Communication）プロトコルを実装する。
• LangChainとLlamaIndexと統合し、ハブとスポークを実行するためのプロセス分離を活用する。
• 不可逆的なアクションに対するユーザー同意を確保し、複数のデプロイモード（ヴァニラおよび専門スポーク）をサポートする。

実験結果

リサーチクエスチョン

• RQ1 機能を犠牲にすることなく、LLMベースのアプリエコシステムにおける実行分離はセキュリティ・プライバシー・安全性リスクを削減できるか？
• RQ2 非分離ベースラインと比較してISOLATEGPTはどれくらいの性能オーバーヘッドを導入するか？
• RQ3 相互に信頼できないアプリ間で安全な協調を、LLMベースのシステムでどのように実現できるか？
• RQ4 実世界のLLMベースシステムに実行分離を実装するための実用的な設計図は何か？

主な発見

• ISOLATEGPTは悪意あるアプリ、アプリ間の影響、NL解釈の曖昧さに起因するセキュリティと安全性の問題から保護します。
• ISOLATEGPTは、テストされたベンチマーク全体で非分離ベースライン（VANILLAGPT）と同じ機能を維持します。
• テストされたクエリの75.73%に対して、ISOLATEGPTのオーバーヘッドはVANILLAGPTと比べて30%未満です。
• このアーキテクチャはLangChainとLlamaIndexを使用して、アプリごとに専用のLLMとプロセス分離を実装しています。
• ISOLATEGPTのソースコードはさらなる研究と普及を支援するために公開されます。
• ハブ・アンド・スポーク設計は、LLMベースのシステムにおける安全なマルチアプリ実行の実現可能性を示しています。