[論文レビュー] RoCo: Dialectic Multi-Robot Collaboration with Large Language Models

Zhao Mandi, Shreeya Jain+1 more|arXiv (Cornell University)|Jul 10, 2023

Natural Language Processing Techniques被引用数 11

ひとこと要約

RoCoは、マルチロボットチームの調整と動作計画を行う対話型のLLMベースのフレームワークを導入し、新しい RoCoBench ベンチマークで評価し、人間の介在とゼロショット適応機能を備える。

ABSTRACT

We propose a novel approach to multi-robot collaboration that harnesses the power of pre-trained large language models (LLMs) for both high-level communication and low-level path planning. Robots are equipped with LLMs to discuss and collectively reason task strategies. They then generate sub-task plans and task space waypoint paths, which are used by a multi-arm motion planner to accelerate trajectory planning. We also provide feedback from the environment, such as collision checking, and prompt the LLM agents to improve their plan and waypoints in-context. For evaluation, we introduce RoCoBench, a 6-task benchmark covering a wide range of multi-robot collaboration scenarios, accompanied by a text-only dataset for agent representation and reasoning. We experimentally demonstrate the effectiveness of our approach -- it achieves high success rates across all tasks in RoCoBench and adapts to variations in task semantics. Our dialog setup offers high interpretability and flexibility -- in real world experiments, we show RoCo easily incorporates human-in-the-loop, where a user can communicate and collaborate with a robot agent to complete tasks together. See project website https://project-roco.github.io for videos and code.

研究の動機と目的

• タスク特化のトレーニングなしで、ゼロショットかつ柔軟なマルチロボット協働を動機づけ、実現する。
• 高レベルの対話型調整と低レベルの運動計画のためにLLMsを活用する。
• 環境からのフィードバックを提供してインコンテキストの計画を改善し、実行前に計画を検証する。
• タスク意味論の変化と人間の介在型協働への適応性を示す。
• マルチロボット操作タスクを体系的に評価するRoCoBenchを導入する。

提案手法

• 3要素からなる RoCo フレームワーク: 1) タスク推論と調整のためのLLMsを用いたマルチエージェント対話; 2) 環境フィードバックと検証を伴うLLM生成のサブタスク計画; 3) 中央集約型RRTベースのプランナーを用いたジョイント空間の運動計画。
• 対話プロンプトには Task Context、Round History、Agent Capability、Communication Instructions、Current Observation、Plan Feedback を含み、構造化されたLLM推論を促す。
• サブタスク計画には任意の3Dタスク空間のウェイポイント経路を含む場合があり得る; 計画は実行前に一連の検証（Text Parsing、Task Constraints、IK feasibility、Collision、Waypoint validity）を通過する。
• 運動計画は検証済みサブタスクをジョイント空間のゴールへ変換し、全ロボットアームの軌道を生成するためにRRTベースのプランナーを使用する。
• LLMsの3D空間推論能力を toy 例で示し、LLM生成ウェイポイントを使用した場合にプランナーのサンプル複雑性が低減することを示す。
• RoCoBenchを提供、6タスクのテーブルトップ操作ベンチマーク、および RoCoBench-Text をエージェント推論評価のために提供する。

Figure 1: We propose RoCo, a unified approach for multi-robot collaboration that leverages LLMs for both high-level task coordination and low-level motion planning. We demonstrate its utility on RoCoBench, a benchmark we introduce that includes a diverse set of challenges in collaboration task scena

実験結果

リサーチクエスチョン

• RQ1 対話型のゼロショットLLMフレームワークは、タスク特有のトレーニングなしに複数のロボットアームを調整して多様な操作タスクを実行できるか？
• RQ2 環境フィードバックとインコンテキストプロンプトを組み込むことで、マルチロボット環境におけるサブタスク計画と計画効率は改善されるか？
• RQ3 LLM生成の3Dウェイポイントは、作業空間の重なりが大きいタスクで運動計画のサンプル複雑性を削減し、計画成功率を高めるか？
• RQ4 LLMベースの調整戦略は、タスク意味論と人間の介在型協働の変化にどの程度適応できるか？
• RQ5 RoCoBenchはLLMsを用いたマルチロボット協働の評価ベンチマークとして、どの程度の能力と信頼性を持つか？

主な発見

• RoCoはRoCoBenchタスク全体で高いタスク成功率を達成し、タスク意味論の変化へ適応する。
• 対話型RoCoは複数のタスクでoracle-LMMプランナーと同等または近似でき、ゼロショット適応の強さを示している。
• LLM提案の3Dウェイポイントは、衝突リスクが高い配置タスクに対してマルアームの運動計画を加速させる。
• RoCoは実世界のテストで物体初期化、タスク目標の変更、ロボット能力の変動に対して頑健性を示す。
• RoCoBenchはタスク分解、観察共有、作業空間の重なりをタスク間で構造的に評価する。

Figure 2: RoCo consists of three main components: 1) Multi-agent dialog via LLMs : each robot is equipped with an LLM that ‘talks’ on its behalf, enabling a discussion of task strategy. 2) LLM-Generated Sub-task Plan : the dialog ends with a proposal of sub-task plan, including optionally a path of