[论文解读] An In-depth Survey of Large Language Model-based Artificial Intelligence Agents

Pengyu Zhao, Zijian Jin+1 more|arXiv (Cornell University)|Sep 23, 2023

Topic Modeling被引用 5

一句话总结

本文系统性地综述了基于大语言模型（LLM）的人工智能智能体，深入分析其核心组件——规划、记忆与工具使用，并提出了一种新颖的记忆分类体系。该文对比了基于LLM的智能体与传统智能体的差异，强调其在泛化能力和推理能力方面的优势，并指出了未来智能体架构与基准测试的关键研究方向。

ABSTRACT

Due to the powerful capabilities demonstrated by large language model (LLM), there has been a recent surge in efforts to integrate them with AI agents to enhance their performance. In this paper, we have explored the core differences and characteristics between LLM-based AI agents and traditional AI agents. Specifically, we first compare the fundamental characteristics of these two types of agents, clarifying the significant advantages of LLM-based agents in handling natural language, knowledge storage, and reasoning capabilities. Subsequently, we conducted an in-depth analysis of the key components of AI agents, including planning, memory, and tool use. Particularly, for the crucial component of memory, this paper introduced an innovative classification scheme, not only departing from traditional classification methods but also providing a fresh perspective on the design of an AI agent's memory system. We firmly believe that in-depth research and understanding of these core components will lay a solid foundation for the future advancement of AI agent technology. At the end of the paper, we provide directional suggestions for further research in this field, with the hope of offering valuable insights to scholars and researchers in the field.

研究动机与目标

• 系统比较基于大语言模型的AI智能体与传统AI智能体，重点突出其在自然语言理解、知识存储与推理能力方面的优势。
• 深入分析AI智能体核心组件——规划、记忆与工具使用，尤其聚焦于创新性的记忆分类方法。
• 通过近期基准测试（如AgentBench、GentBench与API Bank）评估基于大语言模型的智能体性能。
• 识别强化学习驱动的智能体在泛化能力、奖励设计与领域适应方面面临的关键挑战。
• 为推动基于大语言模型的智能体技术在现实世界应用中的发展，提出切实可行的研究方向。

提出的方法

• 本文对基于大语言模型的AI智能体进行了系统性文献综述，重点关注其架构组件与应用领域。
• 提出一种面向AI智能体记忆的新型分类体系，突破传统分类框架，为智能体设计提供新视角。
• 采用多样化的基准测试评估智能体性能，包括WebShop、HotPotQA、基于Minecraft的模拟器以及API Bank。
• 分析整合视觉-语言模型（VLM）的多模态智能体（如PaLM-E与Video-ChatGPT）在具身推理与视觉指令遵循任务中的表现。
• 通过对比分析在开放环境中的大语言模型智能体（如VOYAGER）与传统强化学习智能体，揭示其性能差异。
• 综合近期关于大语言模型智能体在工具使用、推理与规划方面研究的成果，尤其关注其在复杂多步骤任务中的表现。

实验结果

研究问题

• RQ1 基于大语言模型的AI智能体在推理能力、泛化能力与适应性方面，与传统规则驱动或强化学习智能体的根本区别是什么？
• RQ2 基于大语言模型的AI智能体的关键组件有哪些？它们如何共同促进智能体的自主性与性能表现？
• RQ3 如何在传统分类之外，系统性地对AI智能体的记忆进行分类？这一新分类体系对智能体设计具有何种启示？
• RQ4 在规划、工具使用与多模态推理方面，评估基于大语言模型的智能体最有效的基准测试有哪些？
• RQ5 在真实、动态环境中部署基于大语言模型的智能体时，面临的主要挑战与开放性研究问题是什么？

主要发现

• 与传统强化学习智能体相比，基于大语言模型的智能体在零样本或少样本设置下（如Minecraft环境）展现出更优的泛化能力与数据效率。
• 本文提出的新型记忆分类体系为记忆系统设计提供了全新框架，突破了传统对情景记忆、语义记忆与工作记忆的区分。
• 如VOYAGER等智能体在无需特定任务微调的情况下，即可在开放性任务中实现优异表现，有效利用预训练知识完成规划与工具使用。
• 采用视觉-语言模型（如PaLM-E、Video-ChatGPT）的多模态智能体通过高效融合视觉与文本输入，在具身智能与视觉指令遵循任务中表现更优。
• AgentBench与GentBench等基准测试表明，基于大语言模型的智能体在复杂多步推理与工具使用方面仍面临挑战，尤其在资源受限或动态变化的环境中。
• 尽管已有进展，但奖励设计、收敛性与领域适应性等问题仍是制约强化学习智能体在真实场景中部署的主要障碍。