[論文レビュー] Plan, Eliminate, and Track -- Language Models are Good Teachers for Embodied Agents

Yue Wu, So-Yeon Min+6 more|arXiv (Cornell University)|May 3, 2023

Topic Modeling被引用数 6

ひとこと要約

本論文では、事前学習済みの大規模言語モデル（LLMs）を知識提供者の教師として用い、テキストベースの環境におけるエージェントの指導を行う、プラン、エリミネート、トラック（PET）フレームワークを提案する。タスクを部分的タスクに分解し、関係のない環境要因をフィルタリングし、進行状況を追跡することで、PETはSOTA（最先端）より15%高いゼロショット一般化性能を達成し、エージェントやLLMsのファインチューニングを一切行わずに、人間が指定した目的に一般化する能力を向上させる。

ABSTRACT

Pre-trained large language models (LLMs) capture procedural knowledge about the world. Recent work has leveraged LLM's ability to generate abstract plans to simplify challenging control tasks, either by action scoring, or action modeling (fine-tuning). However, the transformer architecture inherits several constraints that make it difficult for the LLM to directly serve as the agent: e.g. limited input lengths, fine-tuning inefficiency, bias from pre-training, and incompatibility with non-text environments. To maintain compatibility with a low-level trainable actor, we propose to instead use the knowledge in LLMs to simplify the control problem, rather than solving it. We propose the Plan, Eliminate, and Track (PET) framework. The Plan module translates a task description into a list of high-level sub-tasks. The Eliminate module masks out irrelevant objects and receptacles from the observation for the current sub-task. Finally, the Track module determines whether the agent has accomplished each sub-task. On the AlfWorld instruction following benchmark, the PET framework leads to a significant 15% improvement over SOTA for generalization to human goal specifications.

研究の動機と目的

• テキストベースの環境における、未観測のヒューマンゴール仕様へのエージェントの一般化能力を向上させること。
• LLMsを直接エージェントとして使用する際の制限、例えば入力長の制限、ファインチューニングの非効率性、非テキストモダリティとの不適合性を解決すること。
• トレーニング可能な低レベルのポリシー・ネットワークとの互換性を維持しながら、LLMsの手順的知識および一般常識を活用すること。
• ファインチューニングなしで、計画、知覚、進行状況の追跡を向上させるモジュラーでゼロショットのフレームワークを設計すること。
• LLMsが、高レベルの抽象化と推論を通じて制御タスクを単純化することで、効果的な教師として機能できることを示すこと。

提案手法

• プランモジュールは、事例提示（in-context prompting）を用いた事前学習済みLLMを用い、自然言語タスクを高レベルの部分的タスクのシーケンスに分解する。
• エリミネートモジュールは、ゼロショット質疑応答（QA）モデルを用い、現在の部分的タスクに基づいて、環境観察から関係のないオブジェクトや受容体をマスクする。
• トラックモジュールは、別のゼロショットQAモデルを用い、現在の部分的タスクが完了したかどうかを判断し、計画に沿った動的進行を可能にする。
• アドバンスド・アテンション（Action Attention）エージェントは、変動する長さのアクション空間に対応できるトランスフォーマー基盤のアーキテクチャを用い、マスクされた観察を処理して行動を実行する。
• フレームワーク全体は、LLMsやエージェントのファインチューニングを一切行わず、すべてのコンponentsに事例提示（in-context prompting）とゼロショットQAに依存する。
• 複数のLLMsを協調して使用する：1つは計画用、残り2つはエリミネートとトラック用で、それぞれの役割に特化している。

Figure 1: PET framework. Plan module uses LLM to generate a high-level plan. Eliminate Module uses a QA model to mask irrelevant objects in observation. Track module uses a QA model to track the completion of sub-tasks.

実験結果

リサーチクエスチョン

• RQ1 事前学習済みLLMsは、テキストベースの環境における人間が指定したゴール仕様へのエージェントのゼロショット一般化性能を向上させることができるか？
• RQ2 LLMsを直接行動実行に参加させることなく、制御タスクを単純化する方法は何か？
• RQ3 ゼロショットQAモデルは、部分的タスクの文脈に基づいて、環境要因のうち不要な要素をどの程度効果的にフィルタリングできるか？
• RQ4 部分的タスクの計画と進行状況の追跡は、例えば2本の石鹸をキャビネットに置くような手順的カウントを必要とする複雑なマルチステップタスクの処理能力をどの程度向上させるか？
• RQ5 計画、エリミネート、トラッキングを統合したモジュラーなフレームワークは、エンドツーエンドのLLMベースのエージェントを上回る性能を示せるか？

主な発見

• PETフレームワークは、人間が指定したゴール仕様への一般化性能において、AlfWorldベンチマークでSOTAを15%上回る成功確率を達成した。
• プランモジュールは、正確性と再現率の両面で99%の正確性を達成し、熟練者の計画と強い整合性を示した。
• エリミネートモジュールは、一般常識推論を用いて観察から40%のタスクに無関係なオブジェクトを効果的に削除し、知覚の効率性を向上させた。
• 部分的タスクの計画とトラッキングは、2本の石鹸をキャビネットに置くような手順的カウントを必要とするタスクにおいて、顕著な性能向上をもたらした。
• アブレーションスタディの結果、プランモジュールとトラックモジュールを組み合わせることで、エリミネートモジュールの性能が向上し、相乗効果が確認された。
• 部分的タスクの埋め込みとQAベースのトラッキングによる頑健性のおかげで、フレームワークは、曖昧さやわずかな誤りを含む未観測のゴール指定に対しても良好な一般化性能を示した。

Figure 2: Plan Module (Sub-task Generation). 5 full examples are chosen from the training set based on RoBERTa embedding similarity with the task query description. Then the examples are concatenated with the task query to get the prompt. Finally, we prompt the LLM to generate the desired sub-tasks.