[论文解读] A Survey on Large Language Model-Based Game Agents

Sihao Hu, Tiansheng Huang+7 more|arXiv (Cornell University)|Apr 2, 2024

Topic Modeling被引用 6

一句话总结

本综述对基于大型语言模型的游戏代理（LLMGAs）的架构与方法进行了综述，将其围绕六个功能模块和六种游戏类型进行整理，并概述未来的研究方向。

ABSTRACT

Game environments provide rich, controllable settings that stimulate many aspects of real-world complexity. As such, game agents offer a valuable testbed for exploring capabilities relevant to Artificial General Intelligence. Recently, the emergence of Large Language Models (LLMs) provides new opportunities to endow these agents with generalizable reasoning, memory, and adaptability in complex game environments. This survey offers an up-to-date review of LLM-based game agents (LLMGAs) through a unified reference architecture. At the single-agent level, we synthesize existing studies around three core components: memory, reasoning, and perception-action interfaces, which jointly characterize how language enables agents to perceive, think, and act. At the multi-agent level, we outline how communication protocols and organizational models support coordination, role differentiation, and large-scale social behaviors. To contextualize these designs, we introduce a challenge-centered taxonomy linking six major game genres to their dominant agent requirements, from low-latency control in action games to open-ended goal formation in sandbox worlds. A curated list of related papers is available at https://github.com/git-disl/awesome-LLM-game-agent-papers

研究动机与目标

• 定义一个统一的基于LLM的游戏代理框架，由感知、记忆、思考、角色扮演、行动和学习组成。
• 按照游戏类型（冒险、交流、竞争、协作、仿真、制作与探索）对现有的LLMGAs进行分类并分析方法论。
• 识别跨类型的技术挑战、环境和优化策略。
• 突出改善LLMA系统中感知、记忆检索、规划与学习的途径。
• 提供精心整理的参考文献以促进在LLMGAs方面的持续研究。

提出的方法

• 提出一个六模块的LLMA组件架构框架：感知、记忆、思考、角色扮演、行动和学习。
• 在六种游戏类型中回顾现有的LLMA文献以总结方法论和适应策略。
• 讨论感知技术，包括状态变量访问、外部视觉编码器以及多模态LLMs，并指出泛化方面的挑战。
• 描述具备情节记忆、语义记忆和过程记忆的记忆机制及检索策略。
• 概述推理与规划方法（CoT、SC、ToM、无目标规划与目标条件规划）及其对LLMA性能的影响。
• 考察行动转换与学习方法（上下文内反馈、监督微调和强化学习）以实现持续改进。

实验结果

研究问题

• RQ1 LLMA系统的一个连贯的架构蓝图是什么，六个核心模块如何交互以在游戏中实现类人决策？
• RQ2 LLMA方法在不同游戏类型中的差异如何，以及共同的挑战和优化策略是什么？
• RQ3 在各种游戏环境中，哪些感知、记忆、推理、规划、行动和学习技术对LLMGAs最有效？
• RQ4 未来在游戏中开发与整合LLMGAs的哪些方向具有潜力？

主要发现

• 提出一个统一的六模块架构（感知、记忆、思考、角色扮演、行动、学习）作为LLMA设计的支架。
• 六种游戏类型（冒险、竞争、协作、仿真、制作与探索、以及交流）被用来对现有的LLMA工作进行分类并比较方法论。
• 感知策略结合符号状态访问、外部视觉编码器和多模态LLMs，并指出泛化方面的局限。
• 记忆系统分为情节记忆、语义记忆和过程记忆，检索基于语义相似性和最近性/重要性考量。
• 思考包含推理与规划，技术包括思路链、多路径推理、反思以及无目标与目标条件规划。
• 学习方法包括上下文内反馈、监督微调和强化学习，在将LLMs用作执行者、规划者、呈现者或奖励设计工具等方面有多种范式。