[論文レビュー] Augmenting Autotelic Agents with Large Language Models

Cédric Colas, Laetitia Teodorescu+3 more|arXiv (Cornell University)|May 21, 2023

Topic Modeling被引用数 4

ひとこと要約

この論文では、事前学習済み言語モデル（LM）を用いて、タスクに依存しないテキストベースの環境で、多様で抽象的かつ人間にとって関連性のある目標を生成・再ラベル付け・報酬化する、言語モデル拡張型自己充足型エージェントであるLMA3を紹介する。手動で設計された目標や報酬が一切不要な状態で、LMを用いて目標生成、軌道再ラベル付け、報酬設計を行うことで、自己生成された創造的で独自の目的に基づき、広範なスキルの習得に成功している。

ABSTRACT

Humans learn to master open-ended repertoires of skills by imagining and practicing their own goals. This autotelic learning process, literally the pursuit of self-generated (auto) goals (telos), becomes more and more open-ended as the goals become more diverse, abstract and creative. The resulting exploration of the space of possible skills is supported by an inter-individual exploration: goal representations are culturally evolved and transmitted across individuals, in particular using language. Current artificial agents mostly rely on predefined goal representations corresponding to goal spaces that are either bounded (e.g. list of instructions), or unbounded (e.g. the space of possible visual inputs) but are rarely endowed with the ability to reshape their goal representations, to form new abstractions or to imagine creative goals. In this paper, we introduce a language model augmented autotelic agent (LMA3) that leverages a pretrained language model (LM) to support the representation, generation and learning of diverse, abstract, human-relevant goals. The LM is used as an imperfect model of human cultural transmission; an attempt to capture aspects of humans' common-sense, intuitive physics and overall interests. Specifically, it supports three key components of the autotelic architecture: 1)~a relabeler that describes the goals achieved in the agent's trajectories, 2)~a goal generator that suggests new high-level goals along with their decomposition into subgoals the agent already masters, and 3)~reward functions for each of these goals. Without relying on any hand-coded goal representations, reward functions or curriculum, we show that LMA3 agents learn to master a large diversity of skills in a task-agnostic text-based environment.

研究の動機と目的

• 自己生成された抽象的で創造的な目標を追求することで、自己充足型エージェントがタスクに依存しないスキルを学習可能にする。
• 固定または事前定義された目標空間に依存する現在の人工エージェントの限界を克服する。
• 大規模言語モデルを文化的伝達の代理として活用し、言語を通じて目標表現の進化を可能にする。
• 人為的に設計された報酬関数やカリキュラムが不要な、自律的な目標生成、再ラベル付け、報酬設計のフレームワークを開発する。
• 言語モデルがタスクに依存しない環境でスケーラブルで多様かつ人間関連性のあるスキル習得を可能にできるかどうかを実証する。

提案手法

• LMA3フレームワークは、事前学習済み言語モデル（LM）を文化的伝達メカニズムとして統合し、目標生成、軌道再ラベル付け、報酬関数作成の3つのコアコンponentsを支援する。
• 目標生成モジュールは、過去の軌道と習得済み部分目標を入力としてLMに提示し、実行可能な部分目標に階層的に分解された高水準で抽象的な目標を生成する。
• 再ラベルモジュールは、LMを用いてエージェントの軌道を自然言語で再記述し、ロールアウト中に達成された新しいまたは複雑な目標を特定する。
• 報酬関数は、再ラベル化された目標記述に基づきLMによって自動生成され、スキル習得の内部的動機付けを可能にする。
• エージェントは学習済み方策を用いて部分目標のシーケンスを実行するロールアウトを実行し、LMを用いた再ラベル付けと報酬設計によって成否を評価する。
• システムはタスクに依存しないテキストベースの環境で動作し、目標表現とフィードバックに言語のみに依存しており、手動で設計された目的や報酬関数を一切使用しない。

実験結果

リサーチクエスチョン

• RQ1 人為的に提供された目標テンプレートがなくても、大規模言語モデルが多様で抽象的かつ人間関連性のある目標を効果的に生成できるか？
• RQ2 言語モデルに基づく再ラベル付けと報酬設計が、タスクに依存しない環境で自己充足的スキル学習を可能にするか？
• RQ3 言語モデルを自己充足型エージェントに統合することで、学習されるスキルの多様性と複雑さにどのような影響を与えるか？
• RQ4 言語モデルがエージェント間での目標表現の形成において文化的伝達の代理としてどの程度機能するか？
• RQ5 事前定義された報酬、カリキュラム、または手動で設計された目標空間がなくても、エージェントが意味のあるスキル習得を達成できるか？

主な発見

• LMA3エージェントは、手動で設計された目標表現や報酬関数が一切ないタスクに依存しないテキストベースの環境で、多様なスキルを習得することに成功した。
• 言語モデルは、エージェントの軌道と習得済み部分目標に基づき、「コリアンダーサラダを用意する」や「おいしい食事を楽しむ」のような高水準で抽象的かつ創造的な目標を効果的に生成した。
• LMの再ラベルモジュールは、ロールアウト中に達成された複雑または新しい目標を的確に特定・再記述でき、例えば「冷蔵庫を開けてから閉じる」や「健康的に食べる」のような目標を特定した。
• エージェントは習得済み部分目標を再帰的に組み合わせることで、より複雑な目標を生成し、広範なスキルの可能性空間を探索する能力を示した。
• 人為的介入を最小限に抑え、言語モデルとのインタラクションと学習済み方策に依存するだけで、実験では550,000回のLM呼び出しを実施した。
• 本アプローチはスケーラブルで人間関連性のあるスキル習得に有望であるが、推論コストが高く（約10,000エピソードあたり240ドル）、実用的な制限として残っている。