[论文解读] Optimal Scene Graph Planning with Large Language Model Guidance

Zhirui Dai, Arash Asgharivaskasi+5 more|arXiv (Cornell University)|Sep 17, 2023

Constraint Satisfaction and Optimization被引用 4

一句话总结

本文提出了一种基于大型语言模型（LLMs）的分层最优任务规划框架，用于自主机器人。该框架通过LLM将自然语言任务转化为线性时序逻辑（LTL）公式，并在场景图上引导高效规划。通过在多启发式A*规划器（AMRA*）中集成一个可证明一致的LTL启发式函数与LLM生成的语义引导，该方法在Gibson数据集等复杂多层环境中实现了快速且最优的路径计算，显著减少了节点扩展数和规划时间，优于基线方法。

ABSTRACT

Recent advances in metric, semantic, and topological mapping have equipped autonomous robots with semantic concept grounding capabilities to interpret natural language tasks. This work aims to leverage these new capabilities with an efficient task planning algorithm for hierarchical metric-semantic models. We consider a scene graph representation of the environment and utilize a large language model (LLM) to convert a natural language task into a linear temporal logic (LTL) automaton. Our main contribution is to enable optimal hierarchical LTL planning with LLM guidance over scene graphs. To achieve efficiency, we construct a hierarchical planning domain that captures the attributes and connectivity of the scene graph and the task automaton, and provide semantic guidance via an LLM heuristic function. To guarantee optimality, we design an LTL heuristic function that is provably consistent and supplements the potentially inadmissible LLM guidance in multi-heuristic planning. We demonstrate efficient planning of complex natural language tasks in scene graphs of virtualized real environments.

研究动机与目标

• 通过在分层场景图中使用自然语言指令，实现自主机器人高效且最优的任务规划。
• 解决在度量-语义环境中自然语言任务的符号接地与语义理解挑战。
• 在保持规划最优性的同时，集成LLM用于LTL翻译与启发式引导。
• 设计一个分层规划域，以捕捉场景图的属性与连通性，实现可扩展的任务执行。
• 证明基于LLM的多启发式规划可加速可行路径生成，且不损失最优性。

提出的方法

• 该方法使用大型语言模型（LLM）通过属性层次提示与安全语法检查，将自然语言任务转化为线性时序逻辑（LTL）公式。
• 基于场景图元素与任务的相关性，生成LLM启发式函数，为规划提供语义引导。
• 设计了一种一致且可证明可采纳的LTL启发式函数，以在多启发式A*规划中保证最优性。
• 从场景图构建分层规划域，编码房间、物体、占用情况及楼层级别属性及其关联连通性。
• 采用任意时间多分辨率多启发式A*（AMRA*）算法，集成LLM与LTL启发式函数，加速搜索过程，同时确保收敛至最优解。
• 系统使用GPT-4进行基于LLM的LTL翻译与自动机生成，使用Spot进行LTL到自动机的转换。

Figure 1 : Planning a natural language mission, $\mu:\text{``Reach the oven in the kitchen''}$ , in a scene graph $\mathcal{G}$ of the Gibson environment Benevolence [ 36 ] with object, room, and floor attributes. The terms “oven” and “kitchen” in $\mu$ belong to the object and room attributes of th

实验结果

研究问题

• RQ1 LLM能否有效将自然语言任务映射到场景图属性，并生成正确且可验证的LTL公式？
• RQ2 如何将LLM生成的语义引导与形式化逻辑启发式函数结合，以加速规划而不损失最优性？
• RQ3 在分层场景图的多级中应用LLM启发式引导，是否能提升复杂多层环境中的规划效率？
• RQ4 与基线方法相比，LLM与LTL启发式函数的结合在减少节点扩展数与规划时间方面达到何种程度？
• RQ5 该方法是否能在真实世界3D场景图中同时实现快速首次路径可行性与最优路径收敛？

主要发现

• 在Benevolence环境中，ALL配置（在所有层次应用LLM启发式）平均仅用0.0007秒即计算出首个可行路径，显著快于A*（1.1202秒）和NO-LLM（3.3260秒）。
• 在相同环境中，ALL设置平均用8.9062秒完成最优路径计算，优于A*（11.7594秒）和NO-LLM（24.2516秒）。
• ALL设置下，首个路径与最优路径的相对成本为1.3763，表明在速度与解质量之间实现了良好平衡。
• 在早期规划迭代中，当在多个层次应用LLM启发式时，节点扩展数最多减少90%，证明了其引导效率。
• 在所有场景中，首个路径与最优路径的相对成本比保持在1.03–1.04之间，表明首次解质量较高。
• 在物体和房间层级应用LLM启发式（OBJ, ROOM）时，相比NO-LLM基线，节点扩展数减少超过50%，显示出显著的可扩展性优势。

Figure 2 : Natural language to LTL translation. (a) Attribute hierarchy $\bar{\mathcal{G}}$ . The unique IDs and the room connections are shown in parenthesis and inside red brackets, respectively. (b) Unique ID extraction from natural language mission $\mu$ . (c) LTL formula generation from natural