[論文レビュー] SMART-LLM: Smart Multi-Agent Robot Task Planning using Large Language Models

Shyam Sundar Kannan, Vishnunandan L. N. Venkatesh+1 more|arXiv (Cornell University)|Sep 18, 2023

Multimodal Machine Learning Applications被引用数 11

ひとこと要約

SMART-LLM は高レベルな指示を分解し、ロボットの連携を形成し、異種のマルチロボットチームのタスクを割り当てるために大規模言語モデルを使用し、AI2-THOR のシミュレーションと実ロボットで実証されました。

ABSTRACT

In this work, we introduce SMART-LLM, an innovative framework designed for embodied multi-robot task planning. SMART-LLM: Smart Multi-Agent Robot Task Planning using Large Language Models (LLMs), harnesses the power of LLMs to convert high-level task instructions provided as input into a multi-robot task plan. It accomplishes this by executing a series of stages, including task decomposition, coalition formation, and task allocation, all guided by programmatic LLM prompts within the few-shot prompting paradigm. We create a benchmark dataset designed for validating the multi-robot task planning problem, encompassing four distinct categories of high-level instructions that vary in task complexity. Our evaluation experiments span both simulation and real-world scenarios, demonstrating that the proposed model can achieve promising results for generating multi-robot task plans. The experimental videos, code, and datasets from the work can be found at https://sites.google.com/view/smart-llm/.

研究の動機と目的

• 異種のチームにおける柔軟で言語駆動型のマルチロボットタスク計画の必要性を動機づける。
• タスクを分解し、連携を形成し、タスクを割り当て、計画を実行するためにLLMsを用いる4段階のフレームワークを開発する。
• 異なるタスクの複雑さを持つマルチロボット計画を評価するために、AI2-THORでベンチマークデータセットを作成・活用する。
• シミュレーションと実ロボットの実験の両方で適用性を示し、異なるプロンプトとベースラインの下での性能を分析する。

提案手法

• Stage 1 (Task Decomposition): 環境とスキル情報をLLMに与え、few-shot Pythonベースのプロンプトを用いてサブタスクとアクション列を生成する。
• Stage 2 (Coalition Formation): ロボットのスキル、環境オブジェクト、サンプル連携をLLMに入力して、サブタスクの連携方針を作成させる。
• Stage 3 (Task Allocation): 分解されたタスク、連携方針、および割り当てられた計画を入力して、実行可能なタスク割り当てを生成する。
• Stage 4 (Task Execution): ロー-level skillsへのAPI呼び出しやインタプリタを介して割り当てられた計画を実行し、適切に並行または逐次実行を可能にする。
• Prompts は、行ごとのコメントとタスクレベルの要約を含むPython風の構造を活用して、LLMの推論とコード生成を導く。
• Evaluation uses a benchmark dataset derived from AI2-THOR to assess planning quality across elemental, simple, compound, and complex tasks.

Figure 1 : An overview of SMART-LLM : Smart Multi-Agent Robot Task planning using Large Language Models (LLM). Given a high-level instruction, SMART-LLM decomposes the instruction into sub-tasks assigning them to individual robots based on their specific skills and capabilities, and orchestrating th

実験結果

リサーチクエスチョン

• RQ1 GPT-4ベースのプロンプティングは、異種ロボットチームに対して堅牢なタスク分解、連携形成、割り当てを可能にするか。
• RQ2 LLM主導のパイプラインは、複雑さが増すタスク全体で高い成功率と効率的なロボット活用をどの程度達成できるか。
• RQ3 複雑なマルチロボット計画シナリオにおいて、GPT-4はGPT-3.5とどう比較されるか。
• RQ4 自然言語コメントと連携プロンプトの含有が、計画性能に与える影響はどの程度か。
• RQ5 シミュレートされたプロンプトから実ロボットのタスク計画へ、フレームワークは一般化できるか。

主な発見

• SMART-LLM はシミュレーションにおける要素レベルのタスクで完璧な成功を達成する。
• 単純なタスクでは、SMART-LLM は TCR = 1.0 を達成するが、逐次実行と並列実行の違いにより SR が低く、RU に影響を与える。
• 複合および複雑なタスクでは、シーケンスの一部制約とチーム割り当ての課題を伴い、成功率は70%である。
• GPT-4は一般にGPT-3.5を上回り、特に推論と多様なサブスキルを要する複雑なタスクで優れている。
• コメント、要約、または連携形成を削除すると、一般に性能が低下し、推論強化プロンプトと構造化プロンプトの価値が強調される。
• 実ロボット実験は、シミュレーションで見られないカバレッジ/パトロールタスクに適切なロボットチームを割り当てられることを示した。

Figure 2 : System Overview: SMART-LLM consists of four key stages: i) Task Decomposition: a prompt consisting of robot skills, objects, and task decomposition samples is combined with the input instruction. This is then fed to the LLM model to decompose the input task; ii) Coalition Formation: a pro