[论文解读] LLM Platform Security: Applying a Systematic Evaluation Framework to OpenAI's ChatGPT Plugins

Umar Iqbal, Tadayoshi Kohno+1 more|arXiv (Cornell University)|Sep 19, 2023

Privacy-Preserving Technologies in Data被引用 6

一句话总结

本文提出了一套系统化的攻击分类法与评估框架，用于评估大型语言模型平台插件生态系统的安全性、隐私性和安全性，将其应用于 OpenAI 的 ChatGPT 插件。该框架通过实际分析真实插件，识别出具体的攻击向量，揭示了可被利用的漏洞，并为未来 LLM 平台提供了可操作的设计建议。

ABSTRACT

Large language model (LLM) platforms, such as ChatGPT, have recently begun offering an app ecosystem to interface with third-party services on the internet. While these apps extend the capabilities of LLM platforms, they are developed by arbitrary third parties and thus cannot be implicitly trusted. Apps also interface with LLM platforms and users using natural language, which can have imprecise interpretations. In this paper, we propose a framework that lays a foundation for LLM platform designers to analyze and improve the security, privacy, and safety of current and future third-party integrated LLM platforms. Our framework is a formulation of an attack taxonomy that is developed by iteratively exploring how LLM platform stakeholders could leverage their capabilities and responsibilities to mount attacks against each other. As part of our iterative process, we apply our framework in the context of OpenAI's plugin (apps) ecosystem. We uncover plugins that concretely demonstrate the potential for the types of issues that we outline in our attack taxonomy. We conclude by discussing novel challenges and by providing recommendations to improve the security, privacy, and safety of present and future LLM-based computing platforms.

研究动机与目标

• 为应对日益增长的对 LLM 平台（如 OpenAI 的 ChatGPT）中第三方插件安全性、隐私性和安全性的担忧。
• 开发一种基于威胁建模的系统化框架，用于评估 LLM 插件生态系统的风险。
• 通过分析截至 2023 年 6 月的 OpenAI 插件商店中的真实插件，实证验证该框架。
• 识别 LLM 平台供应商可采纳的、可操作的设计原则，以减轻来自不受信任的第三方集成所带来的风险。

提出的方法

• 通过分析三大关键利益相关方（LLM 平台、用户、第三方插件）的功能与职责，构建全面的攻击分类法。
• 基于利益相关方之间的交互，系统性地列举攻击向量，包括提示注入、数据外泄和权限提升等。
• 通过审查清单文件、API 规范和交互行为，将该分类法应用于评估 OpenAI 插件商店中的插件。
• 根据真实插件分析的结果，迭代优化攻击分类法，区分可行与不可行的攻击场景。
• 借鉴其他平台（如移动、Web 平台）中已知漏洞的模式，以支持威胁建模。
• 提出具体的缓解策略，如代码托管、权限模型、沙箱机制以及标准化的插件间通信协议。

实验结果

研究问题

• RQ1 第三方插件在 LLM 平台（如 OpenAI 的 ChatGPT）中引入了哪些关键的安全、隐私和安全风险？
• RQ2 不精确的自然语言接口和模糊的插件描述如何导致可被利用的攻击面？
• RQ3 OpenAI 插件商店中的哪些现实插件展示了所识别攻击模式的可行实现？
• RQ4 当前平台政策和审核流程在多大程度上未能防止恶意或存在缺陷的插件行为？
• RQ5 LLM 平台供应商可采用哪些架构与设计原则，以主动保障未来插件生态系统的安全性？

主要发现

• 分析发现，OpenAI 插件商店中的多个插件具备执行提示注入攻击的能力，可能导致未经授权的访问或数据外泄。
• 插件可利用模糊的自然语言描述操纵 LLM 行为，导致意外或恶意操作。
• 缺乏强有力的访问控制和代码审查流程，使得插件能够以广泛的系统权限执行，从而扩大了攻击面。
• 插件在共享上下文中执行，导致插件间可能发生数据泄露，并增加横向移动的风险。
• 缺乏强制策略和技术隔离机制（如沙箱）显著增加了被攻破的风险。
• 该框架成功识别出与其它平台中已知漏洞相匹配的攻击模式，验证了其相关性与可操作性。