[论文解读] IsolateGPT: An Execution Isolation Architecture for LLM-Based Agentic Systems

Yuhao Wu, Franziska Roesner+3 more|arXiv (Cornell University)|Mar 8, 2024

Distributed systems and fault tolerance被引用 6

一句话总结

ISOLATEGPT 引入一个 hub-and-spoke 执行隔离架构，用于基于 LLM 的代理系统，以在保持功能的同时保护第三方应用，对大约 76% 的查询的开销低于 30%。

ABSTRACT

Large language models (LLMs) extended as systems, such as ChatGPT, have begun supporting third-party applications. These LLM apps leverage the de facto natural language-based automated execution paradigm of LLMs: that is, apps and their interactions are defined in natural language, provided access to user data, and allowed to freely interact with each other and the system. These LLM app ecosystems resemble the settings of earlier computing platforms, where there was insufficient isolation between apps and the system. Because third-party apps may not be trustworthy, and exacerbated by the imprecision of natural language interfaces, the current designs pose security and privacy risks for users. In this paper, we evaluate whether these issues can be addressed through execution isolation and what that isolation might look like in the context of LLM-based systems, where there are arbitrary natural language-based interactions between system components, between LLM and apps, and between apps. To that end, we propose IsolateGPT, a design architecture that demonstrates the feasibility of execution isolation and provides a blueprint for implementing isolation, in LLM-based systems. We evaluate IsolateGPT against a number of attacks and demonstrate that it protects against many security, privacy, and safety issues that exist in non-isolated LLM-based systems, without any loss of functionality. The performance overhead incurred by IsolateGPT to improve security is under 30% for three-quarters of tested queries.

研究动机与目标

• 在基于自然语言的 LLM 应用生态系统中激励并解决安全与隐私风险。
• 提出一种将应用执行隔离以降低攻击面同时保持功能性的架构。
• 通过实现 ISOLATEGPT 并评估安全性、稳健性、功能性和性能来证明可行性。
• 提供蓝图并发布源代码，以促进基于 LLM 的系统中执行隔离的进一步研究。

提出的方法

• 引入以中心 hub 为核心、隔离的应用 spokes 的 hub-and-spoke 架构。
• 为每个应用配备一个专用的 LLM（spoke LLM），并通过 spoke memory 为每个应用提供上下文。
• 使用非 LLM 的 hub operator 和 spoke operator 来确定性地管理交互并降低提示注入风险。
• 实现 inter-spoke communication (ISC) 协议，以通过 hub 实现相互不信任的 spokes 之间的安全协作。
• 利用进程隔离来运行 hub 与 spokes，并与 LangChain 和 LlamaIndex 集成。
• 确保对不可逆操作获得用户同意，并支持多种部署模式（vanilla 和 specialized spokes）。

实验结果

研究问题

• RQ1 在不牺牲功能性的前提下，执行隔离是否能降低基于 LLM 的应用生态系统中的安全、隐私和安全风险？
• RQ2 与非隔离基线相比，ISOLATEGPT 会带来多少性能开销？
• RQ3 在基于 LLM 的系统中，如何实现相互不信任的应用之间的安全协作？
• RQ4 在现实世界的基于 LLM 的系统中实现执行隔离的实用蓝图是什么？

主要发现

• ISOLATEGPT 保护免受来自恶意应用、应用间相互影响以及 NL 解释歧义所引发的安全性和稳健性问题。
• ISOLATEGPT 在所测试的基准上保持与非隔离基线（VANILLAGPT）相同的功能性。
• 在测试查询的 75.73% 中，与 VANILLAGPT 相比，ISOLATEGPT 的开销低于 30%。
• 该架构使用 LangChain 和 LlamaIndex 实现，具备按应用专用 LLM 和进程隔离。
• ISOLATEGPT 的源代码已发布，以支持进一步的研究和采用。
• hub-and-spoke 设计展示了在基于 LLM 的系统中实现安全多应用执行的可行性。