[论文解读] Augmenting Autotelic Agents with Large Language Models

Cédric Colas, Laetitia Teodorescu+3 more|arXiv (Cornell University)|May 21, 2023

Topic Modeling被引用 4

一句话总结

该论文提出 LMA3，一种基于语言模型增强的自激励智能体，其在无任务依赖的文本环境中，利用预训练语言模型生成、重标记并奖励多样、抽象且与人类相关的目标。无需人工设计的目标或奖励机制，LMA3 通过语言模型实现目标生成、轨迹重标记与奖励塑造，从而实现开放式的技能学习，展现出通过自创、富有创造力的目标掌握广泛技能的能力。

ABSTRACT

Humans learn to master open-ended repertoires of skills by imagining and practicing their own goals. This autotelic learning process, literally the pursuit of self-generated (auto) goals (telos), becomes more and more open-ended as the goals become more diverse, abstract and creative. The resulting exploration of the space of possible skills is supported by an inter-individual exploration: goal representations are culturally evolved and transmitted across individuals, in particular using language. Current artificial agents mostly rely on predefined goal representations corresponding to goal spaces that are either bounded (e.g. list of instructions), or unbounded (e.g. the space of possible visual inputs) but are rarely endowed with the ability to reshape their goal representations, to form new abstractions or to imagine creative goals. In this paper, we introduce a language model augmented autotelic agent (LMA3) that leverages a pretrained language model (LM) to support the representation, generation and learning of diverse, abstract, human-relevant goals. The LM is used as an imperfect model of human cultural transmission; an attempt to capture aspects of humans' common-sense, intuitive physics and overall interests. Specifically, it supports three key components of the autotelic architecture: 1)~a relabeler that describes the goals achieved in the agent's trajectories, 2)~a goal generator that suggests new high-level goals along with their decomposition into subgoals the agent already masters, and 3)~reward functions for each of these goals. Without relying on any hand-coded goal representations, reward functions or curriculum, we show that LMA3 agents learn to master a large diversity of skills in a task-agnostic text-based environment.

研究动机与目标

• 通过生成并追求自创的、抽象的和富有创造性的目标，使自激励智能体能够学习开放式的技能。
• 克服当前人工智能智能体依赖固定或预设目标空间的局限性。
• 将大语言模型作为文化传承的代理，使目标表征通过语言实现演化。
• 开发一种无需人工设计奖励函数或教学大纲的自主目标生成、重标记与奖励塑造框架。
• 证明语言模型可在无任务依赖环境中支持可扩展、多样化且与人类相关的技能获取。

提出的方法

• LMA3 框架将预训练语言模型（LM）作为文化传承机制，支持三个核心组件：目标生成、轨迹重标记与奖励函数创建。
• 目标生成器通过提示语言模型，结合先前的轨迹和已掌握的子目标，生成高层级、抽象的目标及其可执行的子目标层级分解。
• 重标记器利用语言模型将智能体的轨迹以自然语言重新描述，识别在轨迹执行过程中达成的新颖或复杂的目标。
• 奖励函数由语言模型基于重标记后的目标描述自动生成，从而为技能获取提供内在动机。
• 智能体使用学习到的策略执行子目标序列，成功与否通过基于语言模型的重标记与奖励塑造进行评估。
• 该系统运行于无任务依赖的文本环境中，完全依赖语言进行目标表征与反馈，避免使用人工编码的目标或奖励函数。

实验结果

研究问题

• RQ1 大语言模型能否在无用户提供的目标模板情况下，有效生成多样、抽象且与人类相关的目標？
• RQ2 基于语言模型的重标记与奖励塑造是否能在无任务依赖环境中实现开放式的技能学习？
• RQ3 将语言模型整合进自激励智能体，如何影响所学技能的多样性与复杂性？
• RQ4 语言模型在多大程度上可作为代理，用于在智能体之间塑造目标表征的文化传承？
• RQ5 智能体是否能在无预设奖励、教学大纲或人工编码目标空间的情况下实现有意义的技能获取？

主要发现

• LMA3 智能体在无任何人工编码目标表征或奖励函数的无任务依赖文本环境中，成功掌握了广泛多样的技能。
• 语言模型能有效生成高层级、抽象且富有创造性的目标，如“准备香菜料理”或“享用美味餐点”，基于智能体轨迹与已掌握的子目标。
• 语言模型的重标记组件成功识别并重新描述了轨迹中达成的复杂或新颖目标，如“打开冰箱然后关上”或“吃健康食物”。
• 该系统通过递归组合已掌握的子目标，生成越来越复杂的目标，实现开放式的技能探索，覆盖广泛的可能技能空间。
• 该方法实现了极低人工干预的技能获取，仅依赖语言模型交互与学习到的策略，实验中使用了 550k 次语言模型调用。
• 该框架在可扩展、与人类相关的技能学习方面展现出巨大潜力，但高推理成本（约每 10,000 集合 $240）仍是实际应用的主要限制。