[論文レビュー] Vision-Language Interpreter for Robot Task Planning

Keisuke Shirai, Cristian C. Beltran-Hernandez+7 more|arXiv (Cornell University)|Nov 2, 2023

Natural Language Processing Techniques被引用数 4

ひとこと要約

本稿では、自然言語の指示とシーンの観察から構文的に正しい実行可能なPDDL問題記述（PD）を生成する視覚言語インタプリタであるViLaInを提案する。これにより、記号的ロボットプランナが解釈可能で論理的に妥当な計画を生成できる。ViLaInは構文的正しさが99%以上で、有効な計画の生成に58%以上の成功率を達成しており、プランナのフィードバックによる精錬と、評価用に新規に作成されたデータセット（ProDG）を用いている。

ABSTRACT

Large language models (LLMs) are accelerating the development of language-guided robot planners. Meanwhile, symbolic planners offer the advantage of interpretability. This paper proposes a new task that bridges these two trends, namely, multimodal planning problem specification. The aim is to generate a problem description (PD), a machine-readable file used by the planners to find a plan. By generating PDs from language instruction and scene observation, we can drive symbolic planners in a language-guided framework. We propose a Vision-Language Interpreter (ViLaIn), a new framework that generates PDs using state-of-the-art LLM and vision-language models. ViLaIn can refine generated PDs via error message feedback from the symbolic planner. Our aim is to answer the question: How accurately can ViLaIn and the symbolic planner generate valid robot plans? To evaluate ViLaIn, we introduce a novel dataset called the problem description generation (ProDG) dataset. The framework is evaluated with four new evaluation metrics. Experimental results show that ViLaIn can generate syntactically correct problems with more than 99\% accuracy and valid plans with more than 58\% accuracy. Our code and dataset are available at https://github.com/omron-sinicx/ViLaIn.

研究の動機と目的

• 自然言語と視覚的入力から機械可読で実行可能な問題記述（PD）を生成することで、言語誘導型と記号的ロボット計画の橋渡しを図ること。
• 記号的プランナが人間が読める論理的に正しい計画を生成することにより、ロボットタスク計画における解釈可能性を向上させること。
• ファインチューニングを一切用いずに、大規模言語モデルおよび視覚言語モデルのみを用いて意味的かつ構文的に正しいPDを生成する課題に対処すること。
• 新規データセットと正しさおよび計画有効性を評価する新しい指標を用いてフレームワークを評価すること。

提案手法

• ViLaInは、言語的指示と画像観察からPDDL問題記述のドメイン、初期状態（I）、および目標状態（G）を生成する3モジュールパイプラインを用いる。
• フレームワークは、最先端の大規模言語モデル（LLM）および視覚言語モデルを用いたfew-shotプロンプティングを採用して、各PDコンポonentを生成する。
• 補正再プロンプティング（CR）と思考の流れ（CoT）プロンプティングを組み込み、記号的プランナからのフィードバックを用いて生成されたPDを精錬する。
• 記号的プランナ（Fast Downward）が生成されたPDを検証し、失敗したフィードバックを用いてPD内の誤りを段階的に是正する。
• 一括でPDを生成するエンドツーエンドのバリエーション、ViLaIn_wholeを新設し、モジュラリティとパフォーマンスのトレードオフを評価する。
• フレームワークは、調理、ブロック・ワールド、ハノイの塔のドメインをカバーする新規データセット（ProDG）を用いて評価され、4つの新しい評価指標が導入されている。

実験結果

リサーチクエスチョン

• RQ1 大規模言語モデルおよび視覚言語モデルをファインチューニングせずに、自然言語と視覚的入力から構文的に正しいかつ意味的に妥当なPDDL問題記述を生成できるか？
• RQ2 補正再プロンプティングと思考の流れプロンプティングは、生成されたPDの品質向上にどの程度効果的か？
• RQ3 モジュラーな生成とエンドツーエンドのPD生成の違いが、計画有効性および構文的正しさに与える影響は何か？
• RQ4 特にブロック・ワールドのような複雑な関係的環境において、フレームワークのパフォーマンスはどのように変動するか？
• RQ5 記号的プランナからのフィードバックは、生成された問題記述の正確性と一貫性をどの程度向上させられるか？

主な発見

• ViLaInは全ドメインで99.0%以上の構文的正しさを達成しており、調理とハノイの塔ドメインでは100%の構文正確性を示した。
• フレームワーク全体で58.0%の有効なロボット計画を生成するが、調理ドメインでは100%、ハノイの塔ドメインでは94.0%の成功率を達成した。
• ブロック・ワールドドメインでは、ViLaInの計画成功率は58.0%であったが、全正確性スコアは13.0%に低下し、ブロック関係に関する命題に誤りがあることが示された。
• 補正再プロンプティング（CR）は顕著な性能向上をもたらした。調理ドメインでCRを除去すると、全正確性スコアは0.71から0.09に低下した。
• 思考の流れ（CoT）プロンプティングは不可欠であった。CoTを除去すると、全正確性スコアは0.71から0.59に低下し、幻覚を低減する役割が明らかになった。
• エンドツーエンド生成（ViLaIn_whole）はハノイの塔ドメインでモジュラー版を上回り、生成時のトークンの近接性が高いほど関係的整合性が向上することを示唆した。