[论文解读] AI Agents Under Threat: A Survey of Key Security Challenges and Future Pathways

Zehang Deng, Yongjian Guo+5 more|arXiv (Cornell University)|Jun 4, 2024

Network Security and Intrusion Detection被引用 4

一句话总结

本综述识别出AI智能体安全领域的四个关键知识空白——不可预测的多步输入、内部执行复杂性、环境可变性以及与不可信外部实体的交互——系统性地分类了100多个威胁与防御措施。它提出了未来研究路径，涵盖鲁棒内存管理、安全交互架构、安全基准测试以及政策框架，以提升基于大语言模型（LLM）的智能体的可信度。

ABSTRACT

An Artificial Intelligence (AI) agent is a software entity that autonomously performs tasks or makes decisions based on pre-defined objectives and data inputs. AI agents, capable of perceiving user inputs, reasoning and planning tasks, and executing actions, have seen remarkable advancements in algorithm development and task performance. However, the security challenges they pose remain under-explored and unresolved. This survey delves into the emerging security threats faced by AI agents, categorizing them into four critical knowledge gaps: unpredictability of multi-step user inputs, complexity in internal executions, variability of operational environments, and interactions with untrusted external entities. By systematically reviewing these threats, this paper highlights both the progress made and the existing limitations in safeguarding AI agents. The insights provided aim to inspire further research into addressing the security threats associated with AI agents, thereby fostering the development of more robust and secure AI agent applications.

研究动机与目标

• 识别并系统化梳理基于大语言模型（LLM）的AI智能体在其全生命周期中面临的关键安全挑战。
• 解决由用户输入不可预测性、内部复杂性、环境可变性以及与不可信交互引发的未充分探索的安全漏洞。
• 弥合AI智能体开发与部署过程中统一安全评估标准与政策框架的差距。
• 通过系统化的威胁分类与防御分析，激发未来在安全智能体设计方面的研究。

提出的方法

• 将AI智能体安全威胁划分为四个知识空白：(1) 不可预测的多步用户输入，(2) 复杂的内部执行过程，(3) 变化的运行环境，以及(4) 与不可信外部实体的交互。
• 将威胁映射至具体智能体组件：感知（如提示注入）、推理（如逃逸攻击）、动作（如工具滥用）、记忆（如污染攻击）以及环境（如沙箱逃逸）。
• 回顾100多项现有研究，对智能体生命周期各阶段的攻击面与防御机制进行分类。
• 提出未来研究方向，包括安全内存管理（如AvalonBench、PoisonedRAG）、最优交互架构（如CAMEL结合动态权限机制）以及安全基准测试（如R-Judge、ToolEmu）。
• 分析当前评估工具（如R-Judge和ToolEmu）的局限性，其范围狭窄，缺乏对智能体层面整体可信度的评估能力。
• 倡导建立标准化的安全基准与政策框架，以确保AI智能体的透明性、可问责性与伦理化部署。

实验结果

研究问题

• RQ1 不可预测的多步用户输入在AI智能体中会引发哪些主要安全威胁？
• RQ2 基于大语言模型（LLM）的智能体内部执行复杂性如何导致幻觉或对齐偏差等漏洞？
• RQ3 从开发环境到物理环境的环境可变性在哪些方面引入了新的攻击面？
• RQ4 与不可信外部实体（包括其他智能体和工具）的交互如何损害智能体的完整性与机密性？
• RQ5 评估AI智能体可信度方面存在哪些关键研究空白？如何设计统一的安全基准？

主要发现

• 该综述识别出100多篇论文，并系统性地映射了AI智能体安全领域中四个核心知识空白下的100多个不同威胁。
• 提示注入、逃逸攻击和幻觉是感知与推理阶段的主要威胁，通常源于模糊或恶意的用户输入。
• 内部执行复杂性导致诸如行为对齐偏差、非预期操作以及工具滥用等风险，尤其在推理与规划未被充分约束时更为显著。
• 环境可变性（包括仿真环境、沙箱环境及物理环境）引入了环境欺骗、资源耗尽与配置攻击等威胁。
• 与不可信智能体及工具的交互带来了数据泄露、合作/竞争性威胁以及记忆污染等风险，尤其在多智能体系统中更为突出。
• 当前基准测试工具如R-Judge与ToolEmu在范围上存在局限，无法支持对智能体可信度的全面评估，凸显了建立统一安全标准的迫切需求。