[論文レビュー] LGMCTS: Language-Guided Monte-Carlo Tree Search for Executable Semantic Object Rearrangement

Haonan Chang, Kai Gao+6 more|arXiv (Cornell University)|Sep 27, 2023

Natural Language Processing TechniquesComputer Science被引用数 3

ひとこと要約

LGMCTSは、自由な自然言語指示から実行可能な意味的オブジェクト再配置計画とポーズを同時に生成する共同言語誘導型モンテカルロ木探索フレームワークを提案する。オブジェクトのポーズを確率的分布としてモデル化し、LLM駆動の推論とMCTSを統合することで、ラインパターンでは95.99%の成功率、タワーパターンおよびディナーパターンでは完璧な100%の成功率を達成し、事前に分離された2段階手法（例：StructFormer や StructDiffusion）を計画精度および実行精度の両面で上回った。

ABSTRACT

We introduce a novel approach to the executable semantic object rearrangement problem. In this challenge, a robot seeks to create an actionable plan that rearranges objects within a scene according to a pattern dictated by a natural language description. Unlike existing methods such as StructFormer and StructDiffusion, which tackle the issue in two steps by first generating poses and then leveraging a task planner for action plan formulation, our method concurrently addresses pose generation and action planning. We achieve this integration using a Language-Guided Monte-Carlo Tree Search (LGMCTS). Quantitative evaluations are provided on two simulation datasets, and complemented by qualitative tests with a real robot.

研究の動機と目的

• 自由な自然言語記述から、衝突回避にとどまらず、真に実行可能な意味的オブジェクト再配置計画を生成する課題に対処すること。
• ポーズ生成とアクション計画を分離する2段階的手法の限界を克服し、実行不能または劣悪な計画が生じるのを防ぐこと。
• 1つの再配置タスク内で複数の意味的パターン（例：ライン、サークル、空間的配置）をゼロショットで合成可能にすること。
• 複雑で現実に近いシナリオにおける実行可能な意味的再配置を評価するために、特化したベンチマーク「LGR-Benchmark」を構築すること。
• LLMを用いて堅牢な言語理解と計画生成を実現するとともに、モンテカルロ木探索を介して物理的妥当性を保証すること。

提案手法

• LGMCTSは、大規模言語モデル（LLM）を用いて自由な自然言語指示を解釈し、固定されたターゲット位置ではなく、オブジェクトのポーズに関する確率的分布を生成する。
• モンテカルロ木探索（MCTS）を用いて、意味的制約と物理的妥当性の両方を満たすアクションのシーケンスを探索する。
• 探索プロセスでは、LLMが予測した分布からの確率的サンプルとしてオブジェクトの配置をモデル化し、多様で実行可能な構成の探索を可能にする。
• 言語誘導型の木ポリシーが、指示との意味的整合性と幾何学的妥当性に基づいてノード拡張の優先順位を決定することで、MCTSをガイドする。
• 計画者は学習済みの衝突チェックモジュールを統合し、物理的に実行不能なアクションをフィルタリングし、実行可能な計画のみを考慮する。
• 本システムは、複雑なマルチパターンタスクや実行不能な初期状態を含む新しいベンチマーク「LGR-Benchmark」を用いて評価された。

Figure 1 : Robot Setup. We use a UR5e robot equipped with a RealSense D455 camera.

実験結果

リサーチクエスチョン

• RQ1 統合された計画とポーズ生成フレームワークは、2段階的手法を上回り、実行可能な意味的再配置計画を生成できるか？
• RQ2 LGMCTSは、1つのタスク内で複数の意味的パターン（例：ライン＋サークル）をゼロショットで合成できるか？
• RQ3 衝突回避であるが実行不能な計画と比較して、言語誘導型MCTSは計画の実行可能性をどの程度向上させるか？
• RQ4 実世界のオープンボキャブラリー環境において、LLMベースの指示解析モジュールの安定性はいかがなものか？
• RQ5 複雑な初期状態や遮蔽がある状況下でも、LGMCTSは実世界のロボット実行において高い成功率を達成できるか？

主な発見

• シミュレーションにおいてLGMCTSはラインパターンで95.99%、サークルパターンで95.25%、タワーパターンおよびディナーパターンで100%の成功率を達成し、StructFormer や StructDiffusion よりも顕著に優れた性能を示した。
• LGR-BenchmarkにおいてLGMCTS-Tは97.3%の計画成功率、93.4%の実行成功率を達成し、平均計画長は5.99ステップであった。これは、真値のゴールポーズが与えられたPMCTS即しも上回った。
• LGMCTS-LのLLMベースの解析モジュールは、オブジェクトおよびパターン選択において89.3%の正確性を達成し、実世界の指示解釈において高い安定性を示した。
• UR5eとD455カメラを搭載した実機ロボットを用いた実験では、キャンドルを含むディナーテーブルのセットアップといった複雑なタスクをLGMCTSが正常に実行した。
• PMCTSに真値のポーズを提供された場合でさえ、LGMCTSは優れた性能を示し、ポーズとアクション計画の統合的モデリングが実行可能性を向上させることを証明した。
• 重ねられたオブジェクトなどの実行不能な初期状態に対しても、LGMCTSは過剰な中間ステップを回避し、意味的整合性を維持する計画を生成できた。

Figure 2 : Illustration of infeasible start and goal configuration. In this scene, block 2 is in an infeasible start configuration. And the goals of blocks 3 and 2 are infeasible without an excessive number of intermediate steps.