[论文解读] Agent Planning with World Knowledge Model

Shuofei Qiao, Runnan Fang+8 more|arXiv (Cornell University)|May 23, 2024

Multi-Agent Systems and Negotiation被引用 4

一句话总结

该论文提出了一种参数化世界知识模型（WKM），通过从专家轨迹和采样轨迹中综合全局任务知识与动态状态知识，增强基于大语言模型（LLM）的智能体规划能力。通过将该知识通过kNN检索与加权动作预测整合至智能体的规划过程，该方法显著减少了幻觉性动作与盲目试错，实现了在三个真实世界模拟环境中的最先进性能，所使用的开源大语言模型包括Mistral-7B、Gemma-7B和Llama-3-8B。

ABSTRACT

Recent endeavors towards directly using large language models (LLMs) as agent models to execute interactive planning tasks have shown commendable results. Despite their achievements, however, they still struggle with brainless trial-and-error in global planning and generating hallucinatory actions in local planning due to their poor understanding of the ``real'' physical world. Imitating humans' mental world knowledge model which provides global prior knowledge before the task and maintains local dynamic knowledge during the task, in this paper, we introduce parametric World Knowledge Model (WKM) to facilitate agent planning. Concretely, we steer the agent model to self-synthesize knowledge from both expert and sampled trajectories. Then we develop WKM, providing prior task knowledge to guide the global planning and dynamic state knowledge to assist the local planning. Experimental results on three complex real-world simulated datasets with three state-of-the-art open-source LLMs, Mistral-7B, Gemma-7B, and Llama-3-8B, demonstrate that our method can achieve superior performance compared to various strong baselines. Besides, we analyze to illustrate that our WKM can effectively alleviate the blind trial-and-error and hallucinatory action issues, providing strong support for the agent's understanding of the world. Other interesting findings include: 1) our instance-level task knowledge can generalize better to unseen tasks, 2) weak WKM can guide strong agent model planning, and 3) unified WKM training has promising potential for further development. The code is available at https://github.com/zjunlp/WKM.

研究动机与目标

• 解决基于大语言模型的智能体在规划任务中的局限性，特别是因世界理解能力不足导致的盲目试错与幻觉性动作。
• 通过建模全局先验知识与局部动态状态意识，弥合大语言模型与人类式规划之间的差距。
• 开发一种可训练的、参数化的世界知识模型（WKM），能够从轨迹中自动生成任务与状态知识，而无需人工提示。
• 使WKM能够泛化至未见过的任务，并支持高效、知识增强的规划，同时保持极低的推理开销。
• 在多种环境与大语言模型架构上验证WKM的有效性，包括表现强劲的开源模型。

提出的方法

• 通过比较专家轨迹与采样轨迹，利用智能体模型自合成任务知识，识别关键规划步骤与常识性约束。
• 通过提示智能体基于前后动作上下文总结当前世界状态，为每个规划步骤生成状态知识。
• 通过将世界状态的自然语言描述与动作转换关联，构建状态知识库。
• 通过LoRA微调将WKM与智能体模型集成，共享相同的LLM主干以实现参数效率。
• 推理阶段，以当前动作作为查询，在状态知识库中使用kNN检索获取相关状态表征。
• 将检索到的状态知识、先前动作上下文与智能体模型的概率分布结合，进行加权预测，以减少幻觉性动作。

实验结果

研究问题

• RQ1 自合成的世界知识模型能否有效减少基于大语言模型智能体在规划中的盲目试错与幻觉性动作？
• RQ2 与固定或手工设计的提示相比，模型生成的实例级任务知识在泛化至未见任务时表现如何？
• RQ3 弱WKM能否有效引导强大语言模型智能体进行规划，从而证明弱引导强范式的可行性？
• RQ4 统一的多任务WKM训练是否能提升在多样化环境中的泛化能力与可扩展性？
• RQ5 显式提供状态知识对智能体规划性能有何影响？是提升还是降低性能？

主要发现

• 所提出的WKM显著减少了盲目试错与无效动作，实证结果表明其在ALFWorld、WebShop和ScienceWorld中的成功率得到提升。
• 模型生成的实例级任务知识在泛化至未见任务时优于固定或人工设计的提示，表明其对分布偏移具有更强鲁棒性。
• 弱引导强范式具有可行性：即使弱WKM也能有效引导强LLM智能体，证明了知识蒸馏在规划任务中的可扩展性。
• 在多个任务上统一训练WKM展现出强大潜力，表明多任务知识学习有助于提升泛化能力。
• 在推理阶段显式注入状态知识可能损害性能，表明从知识库中动态检索状态表征比静态注入更有效。
• 该方法在三个复杂模拟环境中均实现了最先进性能，所使用的开源大语言模型包括Mistral-7B、Gemma-7B和Llama-3-8B。