[論文レビュー] A Framework for Neurosymbolic Robot Action Planning using Large Language Models

Alessio Capitanelli, Fulvio Mastrogiovanni|arXiv (Cornell University)|Mar 1, 2023

Machine Learning in Materials ScienceMaterials Science参考文献 28被引用数 3

ひとこと要約

本論文では、GPT-3を活用してPDDL準拠の計画を1アクションずつ生成する神風（Teriyaki）という神経記号的フレームワークを提案する。これにより、並行的な計画と実行が可能となり、95.5%の問題解決精度を達成し、計画の長さを最大13.5%短縮し、平均的な計画待機時間を61.2%削減した。

ABSTRACT

Symbolic task planning is a widely used approach to enforce robot autonomy due to its ease of understanding and deployment in robot architectures. However, techniques for symbolic task planning are difficult to scale in real-world, human-robot collaboration scenarios because of the poor performance in complex planning domains or when frequent re-planning is needed. We present a framework, Teriyaki, specifically aimed at bridging the gap between symbolic task planning and machine learning approaches. The rationale is training Large Language Models (LLMs), namely GPT-3, into a neurosymbolic task planner compatible with the Planning Domain Definition Language (PDDL), and then leveraging its generative capabilities to overcome a number of limitations inherent to symbolic task planners. Potential benefits include (i) a better scalability in so far as the planning domain complexity increases, since LLMs' response time linearly scales with the combined length of the input and the output, and (ii) the ability to synthesize a plan action-by-action instead of end-to-end, making each action available for execution as soon as it is generated instead of waiting for the whole plan to be available, which in turn enables concurrent planning and execution. Recently, significant efforts have been devoted by the research community to evaluate the cognitive capabilities of LLMs, with alternate successes. Instead, with Teriyaki we aim to provide an overall planning performance comparable to traditional planners in specific planning domains, while leveraging LLMs capabilities to build a look-ahead predictive planning model. Preliminary results in selected domains show that our method can: (i) solve 95.5% of problems in a test data set of 1,000 samples; (ii) produce plans up to 13.5% shorter than a traditional symbolic planner; (iii) reduce average overall waiting times for a plan availability by up to 61.4%

研究の動機と目的

• 動的で人間・ロボット協働が行われる環境における記号的タスクプランナのスケーラビリティと再計画非効率性を解決すること。
• エンド・ツー・エンドではなく、1アクションずつ計画を生成することで、並行的な計画と実行を可能にすること。
• LLMの生成機能を活用して、複雑で現実世界に近い領域における計画効率と予測可能性を向上させること。
• 高い正確性を維持しながら計画遅延を低減するPDDL準拠の神経記号的プランナを開発すること。

提案手法

• 従来の記号的プランナ（Probe）によって生成された合成問題ペアを用いて、GPT-3ベースのモデルを訓練し、PDDL準拠の計画を出力すること。
• prompt工学戦略を用いて、LLMが有効なPDDLアクションおよび計画構造を出力するように条件づけること。
• 各アクションを逐次的に生成し、即座に実行可能にするモジュラーなアーキテクチャを実装すること。
• 計画生成を完全な計画完了とは分離することで、計画と実行の並行処理を可能にすること。
• LLMの推論時間の入力および出力長に比例する線形スケーリングの特徴を活用し、予測可能性を向上させ、遅延を低減すること。
• 1,000件の問題からなるテストセットを用いてMACROドメインでフレームワークを検証し、正確性、計画長、待機時間を測定すること。

Figure 1 : A Baxter robot executing actions in two domains involving the manipulation of an articulated object. A human can act on an articulated object’s joint at any time, forcing the robot to re-plan.

実験結果

リサーチクエスチョン

• RQ1 微調整されたLLMは、従来の記号的プランナと同等の正確性でPDDL準拠の計画を生成できるか？
• RQ2 1アクションずつ計画を生成することで、エンド・ツー・エンド計画と比較して計画の可用性までの平均待機時間が短縮されるか？
• RQ3 LLMベースのアプローチは、ベースラインの記号的プランナーよりも短く、より効率的な計画を生成できるか？
• RQ4 応答時間の標準偏差で測定した計画生成の予測可能性は、LLMベースのプランナと従来のプランナとでどのように異なるか？

主な発見

• Teriyakiは1,000件のテスト問題のうち95.5%を解決し、最先端の記号的プランナと同等の正確性を示した。
• Teriyakiが生成した計画の平均長さは、ベースラインの記号的プランナーより最大13.5%短かった。
• 計画が利用可能になるまでの平均待機時間が、1アクションずつ生成することで61.2%削減された。
• 単一アクションの応答時間の標準偏差は3.47から0.15に低下し、著しく向上した予測可能性が示された。
• このフレームワークにより、計画と実行の並行処理が可能となり、人間・ロボット協働における遅延が低減し、相互作用のなめらかさが向上した。
• GPT-3を用いた場合、原始的な計画時間は遅いが、生成性とスケーラビリティに優れたこのフレームワークは、動的で再計画が頻繁に必要な状況において顕著な利点を提供する。

Figure 2 : A diagram of Teriyaki fine-tuning process. Blocks in yellow represent custom code developed for data generation and processing as described in section 3.2 .