[论文解读] ISR-LLM: Iterative Self-Refined Large Language Model for Long-Horizon Sequential Task Planning

Zhehua Zhou, Jiayang Song+3 more|arXiv (Cornell University)|Aug 26, 2023

Natural Language Processing TechniquesComputer Science被引用 3

一句话总结

ISR-LLM 提出了一种迭代自我精炼框架，通过将自然语言转换为 PDDL、生成初始计划，并基于验证器反馈进行精炼，从而提升基于大语言模型的长时序任务规划性能。该方法在保持自然语言灵活性的同时，显著优于当前最先进（SOTA）的大语言模型规划器，实现了更高的任务成功率。

ABSTRACT

Motivated by the substantial achievements observed in Large Language Models (LLMs) in the field of natural language processing, recent research has commenced investigations into the application of LLMs for complex, long-horizon sequential task planning challenges in robotics. LLMs are advantageous in offering the potential to enhance the generalizability as task-agnostic planners and facilitate flexible interaction between human instructors and planning systems. However, task plans generated by LLMs often lack feasibility and correctness. To address this challenge, we introduce ISR-LLM, a novel framework that improves LLM-based planning through an iterative self-refinement process. The framework operates through three sequential steps: preprocessing, planning, and iterative self-refinement. During preprocessing, an LLM translator is employed to convert natural language input into a Planning Domain Definition Language (PDDL) formulation. In the planning phase, an LLM planner formulates an initial plan, which is then assessed and refined in the iterative self-refinement step by using a validator. We examine the performance of ISR-LLM across three distinct planning domains. The results show that ISR-LLM is able to achieve markedly higher success rates in task accomplishments compared to state-of-the-art LLM-based planners. Moreover, it also preserves the broad applicability and generalizability of working with natural language instructions.

研究动机与目标

• 解决大语言模型在长时序顺序任务规划中生成计划的可行性与正确性低的问题。
• 使大语言模型能够作为可泛化、与任务无关的规划器，无需人工指定符号化领域。
• 通过包含验证器反馈的迭代自我精炼循环，提升计划的可靠性。
• 保持与自然语言指令的兼容性，以支持人机协同规划。

提出的方法

• 采用两阶段大语言模型流水线：首先，翻译器大语言模型将自然语言指令转换为形式化的 PDDL 表示。
• 规划器大语言模型从 PDDL 表述的问题中生成初始动作序列。
• 验证器通过模拟动作并检查逻辑或物理错误，评估计划的正确性。
• 规划器大语言模型根据验证器反馈迭代精炼计划，重复此过程直至生成有效计划。
• 系统使用少样本示例，引导验证器在推理过程中判断计划的正确性与目标达成情况。
• 系统在保持端到端自然语言交互的同时，通过迭代修正确保计划的形式化有效性。

实验结果

研究问题

• RQ1 与基线大语言模型规划器相比，迭代自我精炼是否能显著提升基于大语言模型的长时序规划任务的成功率？
• RQ2 大语言模型在实现高计划正确性的同时，能在多大程度上保持泛化能力与对人类可读指令的处理能力？
• RQ3 基于验证器的反馈循环在检测与纠正复杂、时间依赖的动作序列中的错误方面有多有效？
• RQ4 PDDL 转换步骤是否保持了语义保真度，并能支持可靠的下游规划？

主要发现

• 在三个不同的规划领域中，ISR-LLM 的任务成功率显著高于当前最先进（SOTA）的大语言模型规划器。
• 在 Blocksworld 领域中，ISR-LLM 正确验证了 6 个测试案例中的 5 个，验证器成功检测出诸如在非清晰对象上堆叠等无效动作。
• 该框架识别并修正了如试图在非清晰积木上堆叠等计划错误，展示了在精炼过程中有效的错误检测能力。
• 迭代自我精炼过程通过在执行链早期检测无效动作，显著减少了错误动作序列的产生。
• 验证器始终确认了目标状态的达成，证实最终计划在逻辑上有效且符合目标要求。
• 系统保持了与自然语言输入的高兼容性，支持人机协同规划，同时未牺牲形式化正确性。