[论文解读] Improving Planning with Large Language Models: A Modular Agentic Architecture

Taylor W. Webb, Shanka Subhra Mondal+1 more|arXiv (Cornell University)|Sep 30, 2023

Natural Language Processing TechniquesComputer Science被引用 3

一句话总结

本文提出 LLM-PFC，一种模块化、受前额叶皮层启发的架构，通过将复杂任务分解为专门的 LLM 模块（如任务分解、动作生成、监控、预测、评估和协调）来提升大型语言模型（LLMs）的规划能力。在图遍历和河内塔任务上的评估表明，该架构显著优于标准提示方法，证明了受大脑启发的模块化设计可增强 LLM 中的多步推理能力。

ABSTRACT

Large language models (LLMs) demonstrate impressive performance on a wide variety of tasks, but they often struggle with tasks that require multi-step reasoning or goal-directed planning. Both cognitive neuroscience and reinforcement learning (RL) have proposed a number of interacting functional components that together implement search and evaluation in multi-step decision making. These components include conflict monitoring, state prediction, state evaluation, task decomposition, and orchestration. To improve planning with LLMs, we propose an agentic architecture, the Modular Agentic Planner (MAP), in which planning is accomplished via the recurrent interaction of the specialized modules mentioned above, each implemented using an LLM. MAP improves planning through the interaction of specialized modules that break down a larger problem into multiple brief automated calls to the LLM. We evaluate MAP on three challenging planning tasks -- graph traversal, Tower of Hanoi, and the PlanBench benchmark -- as well as an NLP task requiring multi-step reasoning (strategyQA). We find that MAP yields significant improvements over both standard LLM methods (zero-shot prompting, in-context learning) and competitive baselines (chain-of-thought, multi-agent debate, and tree-of-thought), can be effectively combined with smaller and more cost-efficient LLMs (Llama3-70B), and displays superior transfer across tasks. These results suggest the benefit of a modular and multi-agent approach to planning with LLMs.

研究动机与目标

• 为解决 LLM 在多步推理和目标导向规划中持续存在的失败问题，特别是在需要系统性、分层推理的任务中。
• 探究是否通过借鉴人类前额叶皮层（PFC）亚区结构，将 LLM 构建为具有专门功能的模块化组件，能够提升规划性能。
• 通过实现专用 LLM 组件之间的自主协调，克服零样本提示和上下文学习的局限性。
• 评估基于认知神经科学原理的黑箱模块化架构是否能在 LLM 中实现可靠且可扩展的规划。
• 探索是否将规划分解为离散的专用功能（如监控、预测、评估）可提升准确率并减少幻觉和循环问题。

提出的方法

• 该架构实现了六个基于 GPT-4 的专用模块：TaskDecomposer、Actor、Monitor、Predictor、Evaluator 和 TaskCoordinator，每个模块负责一种特定的认知功能。
• 每个模块通过 few-shot 上下文学习提示，执行其特定任务，如生成子目标、提出动作或评估状态转换。
• 系统通过结合动作提议（Actor）、状态预测（Predictor）和状态评估（Evaluator）执行树搜索，实现回溯和路径选择。
• 通过 Monitor 模块强制执行错误监控，拒绝违反任务约束的动作，从而减少幻觉和无效移动。
• TaskCoordinator 负责管理任务协调，跟踪子目标完成情况和最终目标达成情况，在完成后触发计划输出。
• 该架构作为闭环系统运行，各模块之间通过循环交互，迭代地优化和验证计划。

Figure 1: LLM-PFC architecture. The agent receives states from the environment and high-level goals. These are processed by a set of specialized LLM modules. The $\operatorname{TaskDecomposer}$ receives high-level goals and generates a series of subgoals. The $\operatorname{Actor}$ generates propose

实验结果

研究问题

• RQ1 模块化、受 PFC 启发的架构是否能提升 LLM 在复杂多步任务上的规划性能？
• RQ2 专门的 LLM 模块（每个处理一种不同的认知功能）是否在推理和规划中优于单体提示方法？
• RQ3 预测、评估和监控等模块的协调在多大程度上能减少 LLM 规划中的幻觉和循环问题？
• RQ4 基于提示的黑箱模块化系统是否能在规划基准测试中取得优于标准零样本或上下文学习的结果？
• RQ5 将认知神经科学原理整合到 LLM 架构中，是否能带来系统性推理和目标导向行为的可测量改进？

主要发现

• LLM-PFC 架构在图遍历和河内塔规划任务上均显著优于标准 LLM 提示方法。
• 在图遍历任务中，该架构在寻找有效路径方面取得了高成功率，显著减少了基线模型中常见的幻觉或无效转换。
• 在河内塔任务中，该模块化系统相较于零样本提示表现出更高的成功率，尽管性能仍不理想，表明仍有优化空间。
• 专用 Monitor 模块的使用有效减少了无效动作和约束违反，最小化了循环和错误的状态转换。
• 通过 Predictor 和 Evaluator 模块实现的树搜索，使状态空间的系统性探索成为可能，提升了计划的质量和可靠性。
• 结果支持这一假设：即模仿 PFC 亚区功能的 LLM 模块在功能上的专业化及其协调交互，可使规划能力超越标准提示所能达到的水平。

Figure 2: Graph Traversal. We investigated two graph traversal tasks utilizing a challenging graph with community structure. Steppath: Find shortest path between two nodes, e.g. node 3 and node 7. Valuepath: Find shortest path from starting location (e.g., node 10) to location with maximum reward (n