[论文解读] LGMCTS: Language-Guided Monte-Carlo Tree Search for Executable Semantic Object Rearrangement

Haonan Chang, Kai Gao+6 more|arXiv (Cornell University)|Sep 27, 2023

Natural Language Processing TechniquesComputer Science被引用 3

一句话总结

LGMCTS 提出了一种联合语言引导的蒙特卡洛树搜索框架，能够从自由形式的自然语言指令中同时生成可执行的语义物体重排计划与位姿。通过将物体位姿建模为概率分布，并结合大语言模型驱动的推理与蒙特卡洛树搜索，其在直线模式上实现了 95.99% 的成功率，在塔形与聚餐模式上达到完美的 100% 成功率，优于先前的两阶段方法（如 StructFormer 和 StructDiffusion），在规划与执行准确性方面均表现更优。

ABSTRACT

We introduce a novel approach to the executable semantic object rearrangement problem. In this challenge, a robot seeks to create an actionable plan that rearranges objects within a scene according to a pattern dictated by a natural language description. Unlike existing methods such as StructFormer and StructDiffusion, which tackle the issue in two steps by first generating poses and then leveraging a task planner for action plan formulation, our method concurrently addresses pose generation and action planning. We achieve this integration using a Language-Guided Monte-Carlo Tree Search (LGMCTS). Quantitative evaluations are provided on two simulation datasets, and complemented by qualitative tests with a real robot.

研究动机与目标

• 为解决从自由形式自然语言描述中生成不仅无碰撞，而且真正可执行的语义物体重排计划的挑战。
• 克服两阶段方法中姿态生成与动作规划分离所带来的局限性，此类方法常导致不可执行或次优的计划。
• 实现在单次重排任务中对多种语义模式（如直线、圆形、空间模式）的零样本组合。
• 开发一个专门针对复杂、类真实世界场景中可执行语义重排评估的基准——LGR-Benchmark。
• 整合大语言模型以实现稳健的语言理解与计划生成，同时通过蒙特卡洛树搜索确保物理可行性。

提出的方法

• LGMCTS 使用大语言模型（LLM）解析自由形式的语言指令，并生成物体位姿的概率分布，而非固定的目标位置。
• 采用蒙特卡洛树搜索（MCTS）来探索同时满足语义约束与物理可行性的动作序列。
• 搜索过程将物体放置建模为从 LLM 预测分布中采样的随机变量，从而探索多样化且可执行的配置。
• 语言引导的树策略通过基于指令语义对齐度与几何合理性来优先扩展节点，引导 MCTS 搜索。
• 规划器集成了学习得到的碰撞检测器，用于过滤不可行动作，确保仅考虑物理上可执行的计划。
• 系统通过一个新基准 LGR-Benchmark 进行评估，该基准包含复杂、多模式任务及不可行的初始配置。

Figure 1 : Robot Setup. We use a UR5e robot equipped with a RealSense D455 camera.

实验结果

研究问题

• RQ1 联合规划与姿态生成框架是否能在生成可执行语义重排计划方面优于两阶段方法？
• RQ2 LGMCTS 在单次任务中对多种语义模式（如直线 + 圆形）的零样本组合能力如何？
• RQ3 与仅无碰撞但不可执行的计划相比，语言引导的 MCTS 在多大程度上提升了计划的可执行性？
• RQ4 LLM 驱动的指令解析模块在真实世界、开放词汇设置下的稳定性如何？
• RQ5 尽管存在复杂初始配置与遮挡，LGMCTS 是否能在真实机器人执行中实现高成功率？

主要发现

• 在仿真环境中，LGMCTS 在 '直线' 模式上达到 95.99% 的成功率，在 '圆形' 模式上为 95.25%，在 '塔形' 与 '聚餐' 模式上均为 100%，显著优于 StructFormer 和 StructDiffusion。
• 在 LGR-Benchmark 上，LGMCTS-T 实现了 97.3% 的规划成功率与 93.4% 的执行成功率，平均计划长度为 5.99 步，即使在提供真实目标位姿的情况下，仍优于 PMCTS。
• LGMCTS-L 中基于 LLM 的解析模块在物体与模式选择上的准确率达到 89.3%，表明其在真实世界指令理解中具有高度稳定性。
• 在使用 UR5e 机械臂与 D455 摄像头的物理机器人实验中，LGMCTS 成功执行了如摆放带蜡烛的聚餐桌等复杂任务，验证了其在真实场景中的适用性。
• 即使与使用真实目标位姿的 PMCTS 相比，LGMCTS 仍表现出更优性能，证明了姿态与动作规划的联合建模显著提升了计划的可执行性。
• 该框架成功处理了不可行的初始配置（如堆叠物体），通过生成避免过多中间步骤且保持语义一致性的计划。

Figure 2 : Illustration of infeasible start and goal configuration. In this scene, block 2 is in an infeasible start configuration. And the goals of blocks 3 and 2 are infeasible without an excessive number of intermediate steps.