[論文レビュー] LLM+P: Empowering Large Language Models with Optimal Planning Proficiency

Bo Liu, Yuqian Jiang+5 more|arXiv (Cornell University)|Apr 22, 2023

Topic Modeling被引用数 84

ひとこと要約

LLM+P は大規模言語モデルと古典的プランナーを結びつけ、自然言語の計画問題をPDDLに翻訳し、プランナーで最適に解決し、プランを再度自然言語に翻訳することで、単一のLLMに比べて優れた計画性能を達成する。

ABSTRACT

Large language models (LLMs) have demonstrated remarkable zero-shot generalization abilities: state-of-the-art chatbots can provide plausible answers to many common questions that arise in daily life. However, so far, LLMs cannot reliably solve long-horizon planning problems. By contrast, classical planners, once a problem is given in a formatted way, can use efficient search algorithms to quickly identify correct, or even optimal, plans. In an effort to get the best of both worlds, this paper introduces LLM+P, the first framework that incorporates the strengths of classical planners into LLMs. LLM+P takes in a natural language description of a planning problem, then returns a correct (or optimal) plan for solving that problem in natural language. LLM+P does so by first converting the language description into a file written in the planning domain definition language (PDDL), then leveraging classical planners to quickly find a solution, and then translating the found solution back into natural language. Along with LLM+P, we define a diverse set of different benchmark problems taken from common planning scenarios. Via a comprehensive set of experiments on these benchmark problems, we find that LLM+P is able to provide optimal solutions for most problems, while LLMs fail to provide even feasible plans for most problems.\footnote{The code and results are publicly available at https://github.com/Cranial-XIX/llm-pddl.git.

研究の動機と目的

• ロボティクスにおける信頼性の高い長期計画の必要性を動機づけ、古典的プランナーが最適解を提供できることを示す。
• 自然言語の計画問題をPDDLに変換し、古典的プランナーを活用して自然言語に翻訳するパイプライン（LLM+P）を提案する。
• LLM+P はさまざまなロボット計画ドメインで LLM のみの計画および LLM ベースの探索手法を上回ることを示す。
• 家庭用ロボティクスにおける実用適用性を検証する現実的なロボットデモンストレーションを提供する。

提案手法

• 自然言語の計画問題をPDDLの問題ファイル（ドメインと問題）に翻訳するためにLLMを用いる。
• 人間の専門家から提供されたドメインPDDLを用い、生成された問題PDDLを古典的プランナーに入力して計画を得る。可能な場合は最適に。
• 生成されたPDDL計画をユーザーの理解または行動実行のために自然言語に翻訳する。
• ベースラインと比較：LLM-as-PおよびTree of Thoughtsを用いて、計画の実現可能性と最適性を評価する。
• IPC風の7つのドメインと各ドメイン20タスク、さらに実ロボットによる片付けタスクのデモンストレーションを含む評価を行う。

Figure 1 : LLM+P makes use of a large language model (LLM) to produce the PDDL description of the given problem, then leverages a classical planner for finding an optimal plan, then translates the raw plan back to natural language using the LLM again.

実験結果

リサーチクエスチョン

• RQ1 最先端のLLMは長期的な計画問題を直接解決できるか（計画の実行可能性と最適性）？
• RQ2 LLM+Pを介して古典的プランナーを統合することで、複数ドメインにおいて計画の成功率と最適性が向上するか？
• RQ3 文脈（例題と問題PDDL）がLLM+Pの性能にどれほど重要か？
• RQ4 LLM+Pは自然言語プロンプトから家庭用ロボットが現実的な操作タスクを効率的に実行できるようにするか？

主な発見

• LLM-as-P は前提条件推論の欠如により、実現可能でない自然言語の計画をしばしば生成する。
• LLM+P は大半の問題で最適な計画を生み出す；失敗の多くはプランナーの制限よりも問題ファイルの誤設定が原因である。
• 文脈（問題と例題の組）が、LLM+Pが正しいPDDL問題ファイルを生成するために決定的に重要である。
• 実際の家庭用ロボットの片付けタスクで実用的な効果を示し、LLMのみのアプローチよりコストを抑えて達成。

(a) grasp bottle