[论文解读] AriGraph: Learning Knowledge Graph World Models with Episodic Memory for LLM Agents

Petr Anokhin, Nikita Semenov+5 more|arXiv (Cornell University)|Jul 5, 2024

Advanced Graph Neural Networks被引用 4

一句话总结

AriGraph 提出了一种混合内存架构，将情景记忆与语义记忆整合到动态知识图中，使 LLM 代理能够在交互式文本环境中实现结构化、可扩展且高效的推理。使用 AriGraph 的 Ariadne 代理在 TextWorld 和 NetHack 等复杂文本游戏中的表现接近人类水平，优于完整历史记录、RAG 和强强化学习基线方法，在多项任务中表现更优。

ABSTRACT

Advancements in the capabilities of Large Language Models (LLMs) have created a promising foundation for developing autonomous agents. With the right tools, these agents could learn to solve tasks in new environments by accumulating and updating their knowledge. Current LLM-based agents process past experiences using a full history of observations, summarization, retrieval augmentation. However, these unstructured memory representations do not facilitate the reasoning and planning essential for complex decision-making. In our study, we introduce AriGraph, a novel method wherein the agent constructs and updates a memory graph that integrates semantic and episodic memories while exploring the environment. We demonstrate that our Ariadne LLM agent, consisting of the proposed memory architecture augmented with planning and decision-making, effectively handles complex tasks within interactive text game environments difficult even for human players. Results show that our approach markedly outperforms other established memory methods and strong RL baselines in a range of problems of varying complexity. Additionally, AriGraph demonstrates competitive performance compared to dedicated knowledge graph-based methods in static multi-hop question-answering.

研究动机与目标

• 为解决 LLM 代理中非结构化记忆表示（如完整历史记录和检索增强生成，RAG）在有效推理与规划方面存在的局限性。
• 探究将情景记忆与语义记忆整合到统一知识图框架中，是否能提升在动态环境中长期记忆的利用效率与决策能力。
• 评估结构化记忆表示是否能提升检索效率，并支持有效的环境探索与任务规划。
• 开发一种可扩展的内存架构，使 LLM 代理能够在无需预设知识的前提下，支持交互式文本环境中复杂、多步骤的推理。
• 证明 LLM 代理可通过交互自主学习并维护一致的世界模型，达到或超越人类水平的表现。

提出的方法

• 构建一个知识图，将语义事实（实体与关系）作为节点和边存储，形成结构化的世界模型。
• 引入情景边，将事件、动作与观察结果链接到特定情境，将时间与情境细节嵌入图中。
• 利用 LLM 动态更新知识图，结合环境交互中的新观察结果，优化并完善已有知识。
• 采用记忆检索、规划与决策的流水线架构，AriGraph 作为核心记忆模块，负责事实检索与推理。
• 通过基于图的检索方法，高效定位相关事实，实现比向量检索的 RAG 或完整历史记录方法更快、更准确的推理。
• 通过图遍历支持正向与反向推理，使代理能够基于累积的情景与语义知识规划行动。

实验结果

研究问题

• RQ1 LLM 代理能否通过与环境的交互，从零开始学习一个有用且结构化的世界模型？
• RQ2 在统一知识图中整合情景记忆与语义记忆，是否能提升从记忆中检索相关事实的能力？
• RQ3 记忆的结构化表示是否能增强在复杂交互环境中的探索与决策能力？
• RQ4 与现有记忆方法（如完整历史记录、RAG、摘要）相比，AriGraph 内存架构在性能与可扩展性方面表现如何？
• RQ5 代理是否仅通过交互与自构建记忆，就能在复杂文本游戏中达到或超越人类水平的表现？

主要发现

• 使用 AriGraph 内存的 Ariadne 代理在 TextWorld 的最难关卡（Treasure Hunt 和 Cooking）中，normalized score 达到 1.0，优于所有基线方法，与顶尖人类玩家表现相当。
• 在 Cleaning 任务中，AriGraph 的 normalized score 为 0.79，显著优于 RAG（0.39）、Simulacra（0.7）和完整历史记录（0.05）。
• 在最难关卡的 Cooking 任务中，AriGraph 得分为 0.65，超越 Reflexion（0.0）、Simulacra（0.0）和 RAG（0.17），展现出在高复杂度环境下的鲁棒性。
• 消融实验表明，若移除情景记忆，硬版 Treasure Hunt 的性能降至 0.67，证实其在复杂推理中的关键作用。
• 使用 LLaMA-3-70B 的 AriGraph 代理在 Treasure Hunt 中得分为 0.47，表明性能随模型规模提升，但仍优于其他基于 LLM 的记忆方法。
• 性能动态分析显示，AriGraph 在任务难度逐步增加时仍保持高性能，未出现质量下降，且在 Cooking 任务中速度超过人类玩家。