[论文解读] Embodied Task Planning with Large Language Models

Zhenyu Wu, Ziwei Wang+3 more|arXiv (Cornell University)|Jul 4, 2023

Multimodal Machine Learning Applications被引用 18

一句话总结

TaPA 将可执行任务计划从大型语言模型映射到物理室内场景，通过多视角视觉感知和开集词对象检测，在复杂的具身任务中优于基线。

ABSTRACT

Equipping embodied agents with commonsense is important for robots to successfully complete complex human instructions in general environments. Recent large language models (LLM) can embed rich semantic knowledge for agents in plan generation of complex tasks, while they lack the information about the realistic world and usually yield infeasible action sequences. In this paper, we propose a TAsk Planing Agent (TaPA) in embodied tasks for grounded planning with physical scene constraint, where the agent generates executable plans according to the existed objects in the scene by aligning LLMs with the visual perception models. Specifically, we first construct a multimodal dataset containing triplets of indoor scenes, instructions and action plans, where we provide the designed prompts and the list of existing objects in the scene for GPT-3.5 to generate a large number of instructions and corresponding planned actions. The generated data is leveraged for grounded plan tuning of pre-trained LLMs. During inference, we discover the objects in the scene by extending open-vocabulary object detectors to multi-view RGB images collected in different achievable locations. Experimental results show that the generated plan from our TaPA framework can achieve higher success rate than LLaVA and GPT-3.5 by a sizable margin, which indicates the practicality of embodied task planning in general and complex environments.

研究动机与目标

• 使具身代理具备常识知识，以在现实环境中执行复杂的人类指令的动机。
• 开发一种将大型语言模型与感知场景信息对齐以生成可执行动作序列的落地规划方法。
• 创建一个包含场景、指令和可执行计划的大型多模态数据集，以微调基于 LLM 的任务规划器。
• 在多样化的室内房间中评估 TaPA 框架与最先进的 LLM/LMM，以展示实际可行性。

提出的方法

• 使用 GPT-3.5 以场景对象清单为提示构建场景、指令与可执行计划三元组的多模态数据集。
• 对预训练的 LLaMA 模型进行微调，使其能够从对象清单和指令样本中预测行动步骤。
• 将开集词对象检测器扩展到多视图 RGB 图像，以在推理时获得鲁棒的场景对象清单。
• 通过将预测的对象清单与人类指令整合，生成可执行的动作序列。
• 评估图像采集策略（多视图、网格化）以在信息丰富性与对象检测噪声之间取得平衡。

实验结果

研究问题

• RQ1 基于 LLM 的规划器是否能够生成符合真实世界场景约束的可执行动作序列？
• RQ2 多模态数据生成和落地感知如何影响在不同房间中的计划可信度和成功率？
• RQ3 多视图对象检测和图像采集策略对落地任务规划性能有哪些影响？

主要发现

方法	套件	客厅	卧室	浴室	平均值
LLaVA	14.29	42.11	33.33	0.00	22.43
GPT-3.5	28.57	73.68	66.67	50.00	54.73
LLaMA	0.00	10.52	13.33	0.00	5.96
TaPA	28.57	84.21	73.33	58.33	61.11

• TaPA 在厨房、客厅、卧室、浴室等场景的平均成功率高于 LLaVA、GPT-3.5 与 LLaMA。
• TaPA 平均成功率：61.11%，相比 GPT-3.5 的 54.73% 在报告的评估中。
• TaPA 在生成可执行计划时的幻觉与反事实率低于竞争模型。
• 分块中心点图像采集在场景覆盖与最小冗余之间取得最佳平衡，提升规划成功率。
• 开集词检测结合微调后的指令跟随比诸如 LLaVA 的单图基线产生更多的可执行计划。