[論文レビュー] Foundation Models for Decision Making: Problems, Methods, and Opportunities

Sherry Yang, Ofir Nachum+4 more|arXiv (Cornell University)|Mar 7, 2023

Multimodal Machine Learning Applications被引用数 50

ひとこと要約

本論文は、基盤モデルを意思決定へ適応する方法を概観し、生成モデル、表現学習、対話型エージェントのパラダイムを概説するとともに、基盤モデルと逐次意思決定の交差領域における未解決課題と機会を示す。

ABSTRACT

Foundation models pretrained on diverse data at scale have demonstrated extraordinary capabilities in a wide range of vision and language tasks. When such models are deployed in real world environments, they inevitably interface with other entities and agents. For example, language models are often used to interact with human beings through dialogue, and visual perception models are used to autonomously navigate neighborhood streets. In response to these developments, new paradigms are emerging for training foundation models to interact with other agents and perform long-term reasoning. These paradigms leverage the existence of ever-larger datasets curated for multimodal, multitask, and generalist interaction. Research at the intersection of foundation models and decision making holds tremendous promise for creating powerful new systems that can interact effectively across a diverse range of applications such as dialogue, autonomous driving, healthcare, education, and robotics. In this manuscript, we examine the scope of foundation models for decision making, and provide conceptual tools and technical background for understanding the problem space and exploring new research directions. We review recent approaches that ground foundation models in practical decision making applications through a variety of methods such as prompting, conditional generative modeling, planning, optimal control, and reinforcement learning, and discuss common challenges and open problems in the field.

研究の動機と目的

• 基盤モデルを逐次意思決定と統合する範囲と動機を説明する。
• 行動と世界の生成モデルとして基盤モデルがどのように機能するかを理解するための技術的な枠組みとツールを提供する。
• 基盤モデルが意思決定の構成要素の表現学習者として機能する方法を探る。
• 言語モデルが対話型タスクのエージェントや環境として機能する方法を論じる。
• この交差領域で今後の研究を導く未解決問題と機会を明らかにする。

提案手法

• MDP、強化学習、模倣学習、計画、最適制御を含む逐次意思決定の予備知識をレビューする。
• 生成モデルファミリー（潜在変数、自己回帰、拡散、エネルギーベース）とそれらの意思決定への関連性を説明する。
• 基盤モデルが行動的事前知識および環境模型としてどのように用いられるかを説明する。
• プラグアンドプレイ表現と言語強化タスク仕様を用いた逐次意思決定を論じる。
• 大規模言語モデルが対話的環境でエージェント、環境、道具として機能するアプローチを概説する。

Figure 1. Overview of foundation models for decision making. Foundation models pretrained on broad data are adapted to accomplish specific tasks by interacting with external entities and receiving feedback.

実験結果

リサーチクエスチョン

• RQ1 基盤モデルをどのように現実の外部エンティティと相互作用させるように基づけ適応させられるか、意思決定タスクで。
• RQ2 逐次意思決定のために基盤モデルが行動と世界動態を表現できる主要な生成モデル手法は何か。
• RQ3 MDPの状態、行動、報酬、遷移の表現学習者として基盤モデルはどのように機能できるか。
• RQ4 対話型タスクで言語モデルをエージェント、環境、ツール利用者として用いる際の課題と機会は何か。）

主な発見

• 基盤モデルは多様な行動列と目標をモデル化することにより、行動的事前知識と汎用的なポリシーを提供する。
• 世界動態の生成モデル化は、意思決定タスクにおけるモデルベースの計画と長期的推論を可能にする。
• 大規模な行動データとオンライン対話は、タスク特化ポリシーを超えた汎用エージェントのスケールアップを可能にする。
• 基盤モデルによる表現学習は、プラグアンドプレイ適応とクロスモーダルなタスク仕様を支援する。
• 言語モデルは人間やツールと対話し、逐次意思決定問題においてエージェントと環境として機能できる。

Figure 2. Example scenarios of adapting foundation models to perform decision making tasks such as interacting with humans, tools, and the simulated and physical world. Actions generated by foundation models and feedback provided by the external entities often reoccur repeatedly in a loop.