[论文解读] KnowAgent: Knowledge-Augmented Planning for LLM-Based Agents

Yuqi Zhu, Shuofei Qiao+8 more|arXiv (Cornell University)|Mar 5, 2024

Semantic Web and Ontologies被引用 4

一句话总结

KnowAgent 提出了一种知识增强的规划框架，通过整合外部动作知识库和有知觉的自我学习策略，增强基于大语言模型（LLM）的智能体，以减少规划幻觉。通过使用结构化知识约束动作轨迹，该方法在 HotpotQA 和 ALFWorld 多个主干模型上实现了最先进或相当的性能。

ABSTRACT

Large Language Models (LLMs) have demonstrated great potential in complex reasoning tasks, yet they fall short when tackling more sophisticated challenges, especially when interacting with environments through generating executable actions. This inadequacy primarily stems from the lack of built-in action knowledge in language agents, which fails to effectively guide the planning trajectories during task solving and results in planning hallucination. To address this issue, we introduce KnowAgent, a novel approach designed to enhance the planning capabilities of LLMs by incorporating explicit action knowledge. Specifically, KnowAgent employs an action knowledge base and a knowledgeable self-learning strategy to constrain the action path during planning, enabling more reasonable trajectory synthesis, and thereby enhancing the planning performance of language agents. Experimental results on HotpotQA and ALFWorld based on various backbone models demonstrate that KnowAgent can achieve comparable or superior performance to existing baselines. Further analysis indicates the effectiveness of KnowAgent in terms of planning hallucinations mitigation. Code is available in https://github.com/zjunlp/KnowAgent.

研究动机与目标

• 解决在轨迹生成过程中因缺乏动作知识而导致的 LLM 基智能体规划幻觉问题。
• 提升语言智能体在复杂交互环境中的推理与规划能力。
• 通过允许智能体从模型生成的计划中进行自我学习，减少对人工标注轨迹的依赖。
• 证明外部动作知识在引导合理且可执行动作序列方面的有效性。
• 实现 LLM 智能体在实际应用（如问答、网页浏览和机器人技术）中的广泛部署。

提出的方法

• 构建一个结构化的动作知识库，包含 ALFWorld 和 HotpotQA 等环境中的特定任务动作规则及其依赖关系。
• 将动作知识转化为自然语言提示，使 LLM 能够在规划过程中推理并应用该知识。
• 通过基于提示的框架将动作知识库集成到智能体的规划过程中，以引导思维-动作-观察（TAO）轨迹的生成。
• 实施一种有知觉的自我学习阶段，使智能体通过反馈和知识约束迭代优化其规划轨迹。
• 采用 TAO（思维-动作-观察）轨迹格式来建模智能体交互行为，历史感知的生成方式基于先前步骤。
• 应用知识感知提示，确保动作序列遵循逻辑和物理约束，例如在‘打开容器’前必须先执行‘前往容器’。

实验结果

研究问题

• RQ1 外部动作知识能否减少 LLM 基智能体的规划幻觉？
• RQ2 整合结构化动作知识在复杂推理任务上的规划性能方面有何提升？
• RQ3 在无须人工标注数据的情况下，从模型生成轨迹中进行自我学习能在多大程度上提升规划准确性？
• RQ4 该知识增强方法在不同主干 LLM 和环境之间是否具备泛化能力？
• RQ5 由 LLM 生成并经人工优化的动作知识能否在保持或提升性能的同时减少人工劳动？

主要发现

• KnowAgent 通过强制执行逻辑动作依赖关系（如必须先执行‘前往’再执行‘打开’或‘取’），显著减少了规划幻觉。
• 在 HotpotQA 基准测试中，KnowAgent 在多种 LLM 主干模型上实现了与现有基线相当或更优的性能。
• 在 ALFWorld 基准测试中，KnowAgent 在‘清洁’、‘加热’、‘冷却’和‘取两样物品’等任务上表现出优越或具有竞争力的性能。
• 有知觉的自我学习策略在多轮迭代中持续提升了规划质量，表明在知识约束下，模型生成的轨迹可被有效优化。
• 使用 LLM 生成并经人工优化的动作知识，在减少人工标注工作量的同时保持了高性能。
• 消融实验确认，动作知识库和自我学习机制对缓解幻觉和提升规划结果均至关重要。