Skip to main content
QUICK REVIEW

[論文レビュー] ProgPrompt: Generating Situated Robot Task Plans using Large Language Models

Ishika Singh, Valts Blukis|arXiv (Cornell University)|Sep 22, 2022
Multimodal Machine Learning ApplicationsComputer Science被引用数 42
ひとこと要約

ProgPrompt は Python 的でコード構造化された prompting スキームを用いて、環境依存の状態フィードバックを備えた実行可能なロボットタスク計画を生成し、仮想と実世界の両方で計画の妥当性と成功を向上させる。

ABSTRACT

Task planning can require defining myriad domain knowledge about the world in which a robot needs to act. To ameliorate that effort, large language models (LLMs) can be used to score potential next actions during task planning, and even generate action sequences directly, given an instruction in natural language with no additional domain information. However, such methods either require enumerating all possible next steps for scoring, or generate free-form text that may contain actions not possible on a given robot in its current context. We present a programmatic LLM prompt structure that enables plan generation functional across situated environments, robot capabilities, and tasks. Our key insight is to prompt the LLM with program-like specifications of the available actions and objects in an environment, as well as with example programs that can be executed. We make concrete recommendations about prompt structure and generation constraints through ablation experiments, demonstrate state of the art success rates in VirtualHome household tasks, and deploy our method on a physical robot arm for tabletop tasks. Website at progprompt.github.io

研究の動機と目的

  • LLM が、環境状態と利用可能なアクションを前提とした、現場状況に適した実行可能なロボットタスク計画を生成できるようにする。
  • 前条件とアサーションを通じて環境からのフィードバックを組み込み、障害発生時の回復を図る。
  • コメントつきの、プログラミング言語に触発されたプロンプトを活用して推論と計画の構造を導く。
  • 仮想の家庭内タスクと実物のロボットアーム上での有効性を示す。
  • ProgPrompt を自然言語プロンプトおよび従来手法と比較して改善を示す。

提案手法

  • ロボット計画を、アクション呼び出し、コメント、およびアサーションを含む実行可能な Python ライクなプログラムとして表現する。
  • LLM に、利用可能なアクションのインポートベースのビューと環境オブジェクトのリストを提供し、出力を実行可能な手順に制約する。
  • コード内に自然言語のコメントを含め、サブタスクの推論を導き、計画の一貫性を向上させる。
  • 前条件のアサーションと回復アクションを使用して、環境状態が前提条件に違反した場合に計画を修復可能にする。
  • 訓練/テストは VirtualHome のシナリオと、物体把持・配置ポリシーを備えた Franka-Emika Panda ロボットを含み、現実世界での物体認識の地続 grounding に ViLD を統合する。

実験結果

リサーチクエスチョン

  • RQ1プログラミング言語に触発されたプロンプトは、現場の環境において LLM の出力を実行可能なロボット動作に制約できるか?
  • RQ2前条件アサーションと回復アクションは、LLM が生成した計画の成功率と堅牢性を向上させるか?
  • RQ3コメントとインポートを含むコード風のプロンプトは、自然言語プロンプトよりもロボットタスク計画において効果的か?
  • RQ4ProgPrompt は仮想環境から実機での実行へどれだけうまく移行できるか?

主な発見

  • ProgPrompt は VirtualHome の指標で、GPT-3 バックボーンを用いた従来のベースラインと LangPrompt を上回る。
  • アサーションと回復アクションを介したフィードバックの追加により、指標全体で性能が向上する。
  • プロンプトコードにコメントを含めると、指標全体で性能が大きく向上する。
  • Codex および Davinci バックボーンは、いくつかの設定で GPT-3 よりも高い性能を示すことがあり、試験対象の中で Codex が最も強い結果を示した。
  • 実機のロボット実験では、ProgPrompt で生成された計画は高い実行可能性と計画成功を達成し、現実世界の不確実性にもかかわらず。

この論文を読む

Nubintのビューアで原文を開き、読みながら気になる箇所をすぐに質問できます。

Nubintでこの論文を読む

このレビューはAIが論文の原文をもとに作成しました。引用する前に原文をご確認ください。