[論文レビュー] Prompter: Utilizing Large Language Model Prompting for a Data Efficient Embodied Instruction Following

Yuki Inoue, Hiroki Ohashi|arXiv (Cornell University)|Nov 7, 2022

Natural Language Processing Techniques被引用数 15

ひとこと要約

本稿では、従来のデータ集約型の意味的検索モジュールに代わり、大規模言語モデル（LLM）のプロンプト技術を用いるデータ効率の良いアプローチ、Prompterを提案する。事前学習済みLLMを用いて追加の学習データなしにオブジェクトの空間的関係を推論することで、ステップバイステップの指示に対してALFREDで45.72%の成功率を達成し、従来の最先端手法を10.31ポイント上回る。追加のアノテーションや微調整の必要がない。

ABSTRACT

Embodied Instruction Following (EIF) studies how autonomous mobile manipulation robots should be controlled to accomplish long-horizon tasks described by natural language instructions. While much research on EIF is conducted in simulators, the ultimate goal of the field is to deploy the agents in real life. This is one of the reasons why recent methods have moved away from training models end-to-end and take modular approaches, which do not need the costly expert operation data. However, as it is still in the early days of importing modular ideas to EIF, a search for modules effective in the EIF task is still far from a conclusion. In this paper, we propose to extend the modular design using knowledge obtained from two external sources. First, we show that embedding the physical constraints of the deployed robots into the module design is highly effective. Our design also allows the same modular system to work across robots of different configurations with minimal modifications. Second, we show that the landmark-based object search, previously implemented by a trained model requiring a dedicated set of data, can be replaced by an implementation that prompts pretrained large language models for landmark-object relationships, eliminating the need for collecting dedicated training data. Our proposed Prompter achieves 41.53\% and 45.32\% on the ALFRED benchmark with high-level instructions only and step-by-step instructions, respectively, significantly outperforming the previous state of the art by 5.46\% and 9.91\%.

研究の動機と目的

• モジュールの訓練に特化したデータセットへの依存度を減らすことで、エメーブドインstructフォローニング（EIF）におけるデータ依存性を低減すること。
• シミュレーション環境と現実世界の間の展開ギャップを埋めるために、高価なデータ収集を回避する手法を構築すること。
• FILMのような従来のモジュラ EIFフレームワークよりも性能を向上させつつ、新たなトレーニング可能なコンponentsを導入しないこと。
• 監視付き意味的検索の代替として、LLMプロンプトの有効性を評価すること。
• LLMベースの推論が、偏りのあるシミュレータ分布で学習されたデータ駆動型モデルよりも、空間的共起関係をより強固に捉えられることを示すこと。

提案手法

• FILMフレームワークの改善版であるFILM++を提案し、モジュールの再トレーニングなしにアーキテクチャ的および推論時における変更を加えることで性能を向上させる。
• FILM++の意味的検索モジュールを、事前学習済みの大規模言語モデル（LLM）を用いたゼロショットプロンプトメカニズムに置き換える。
• LLMを用いて自然言語記述と観測されたシーンの文脈に基づき、オブジェクトの位置の可能性を予測し、共起確率を類似度測度として扱う。
• プロンプトテンプレートを適用してLLMに空間的推論を引き出す。例えば、ターゲットオブジェクトが他の可視オブジェクトの相対的位置にあり得る場所を予測する。
• 2次元可視化と空間的推論の分析のために、オブジェクト共起の負の対数尤度を類似度指標として用いる。
• 障害物の拡大やその他の環境変更を実装し、ナビゲーションの安全性を高め、衝突を低減する。

実験結果

リサーチクエスチョン

• RQ1 追加の学習データが不要な状態で、LLMプロンプトが監視付き意味的検索モジュールに置き換え可能か。
• RQ2 LLMベースの意味的検索の性能は、データ駆動型代替手法と比較して、成功確率および一般化性能においてどう異なるか。
• RQ3 LLMは、未観測の環境においても、現実世界のオブジェクト間の空間的関係をどの程度正確に捉えられるか。
• RQ4 ゼロショットプロンプトは、合成シミュレータデータで学習されたモデルと比較して、分布シフトに対してより高いロバストネスを示すか。
• RQ5 LLMベースの推論の失敗モードは、従来のモジュラエージェントとはどのように異なるか。

主な発見

• Prompterは、ステップバイステップの指示に対してALFREDベンチマークで45.72%の成功率を達成し、従来の最先端手法を10.31ポイント上回った。
• ハイレベルの指示のみを用いた場合、Prompterは42.64%の成功率を達成し、従来のSOTAより6.57ポイント向上した。
• LLMプロンプトベースの意味的検索モジュールは、追加の学習データが不要な状態で、ランダム検索およびCNNベースのベースラインを上回った。
• 失敗解析の結果、Prompterのエラーの32.80%が言語処理の問題に起因し、28.80%が目的オブジェクトが見つからないことによるものであり、視覚言語のグランドイングに課題があることが示された。
• FILMに比べ、衝突を97.5%削減した。これは、環境シミュレーションにおける障害物の拡大が主な要因である。
• 2次元MDS可視化におけるオブジェクトクラスタリングは、LLMベースのモジュールが、コーヒーマシンの近くに本棚やマグがあるような部屋レベルの空間的共起関係を効果的に捉えていることを確認した。