[论文解读] Grounding Language to Autonomously-Acquired Skills via Goal Generation

Ahmed Akakzia, Cédric Colas+3 more|arXiv (Cornell University)|Jun 12, 2020

Reinforcement Learning in Robotics参考文献 37被引用 15

一句话总结

本文提出语言-目标-行为（LGB）架构，通过空间关系的中间语义表征，将内在动机驱动的技能学习与语言接地解耦。通过训练智能体自主发现语义目标，并利用条件变分自编码器（c-VAE）从语言指令生成这些目标，LGB 实现了同一指令下多样化的策略切换行为——在操纵环境中展现出优于端到端方法的语义接地效果与可扩展性。

ABSTRACT

We are interested in the autonomous acquisition of repertoires of skills. Language-conditioned reinforcement learning (LC-RL) approaches are great tools in this quest, as they allow to express abstract goals as sets of constraints on the states. However, most LC-RL agents are not autonomous and cannot learn without external instructions and feedback. Besides, their direct language condition cannot account for the goal-directed behavior of pre-verbal infants and strongly limits the expression of behavioral diversity for a given language input. To resolve these issues, we propose a new conceptual approach to language-conditioned RL: the Language-Goal-Behavior architecture (LGB). LGB decouples skill learning and language grounding via an intermediate semantic representation of the world. To showcase the properties of LGB, we present a specific implementation called DECSTR. DECSTR is an intrinsically motivated learning agent endowed with an innate semantic representation describing spatial relations between physical objects. In a first stage (G -> B), it freely explores its environment and targets self-generated semantic configurations. In a second stage (L -> G), it trains a language-conditioned goal generator to generate semantic goals that match the constraints expressed in language-based inputs. We showcase the additional properties of LGB w.r.t. both an end-to-end LC-RL approach and a similar approach leveraging non-semantic, continuous intermediate representations. Intermediate semantic representations help satisfy language commands in a diversity of ways, enable strategy switching after a failure and facilitate language grounding.

研究动机与目标

• 为解决端到端语言条件强化学习（LC-RL）的局限性，其将技能学习与语言接地耦合，限制了行为多样性。
• 实现内在动机驱动的自监督技能获取，无需外部奖励或指令，模拟前语言期婴儿的发展过程。
• 使单条语言指令能够生成多个有效的语义目标配置，支持策略切换与容错能力。
• 证明语义中间表征相比连续或非语义表征，在语言接地效率与可扩展性方面更具优势。

提出的方法

• 智能体使用以物体为中心的归纳偏置，以及一组预定义的空间谓词（例如，'红色方块在绿色方块之上'）来表示物理对象的语义配置。
• 在技能学习阶段（g → b），智能体通过内在好奇心自主探索，并以自生成的语义配置为目标，奖励由目标可达性塑造。
• 在语言接地阶段（l → g），训练一个条件变分自编码器（c-VAE），将自然语言指令映射到匹配的语义目标配置。
• 智能体将两个阶段组合：在学习语义目标后，利用 c-VAE 从语言生成目标，从而实现指令遵循行为。
• 语义表征空间由关系谓词定义，支持对物理状态的抽象化，减少对手工设计课程的依赖。
• 通过图神经网络与深度集合（Deep Sets）支持可变大小输入，实现对动态物体集合的可扩展性。

实验结果

研究问题

• RQ1 智能体能否仅依靠内在动机与语义目标表征，无需外部奖励或指令，自主学习一组技能？
• RQ2 与端到端 LC-RL 相比，将技能学习与语言接地解耦是否能为同一语言指令带来更大的行为多样性？
• RQ3 语义目标表征是否能通过从单条指令生成多个有效目标配置，实现在失败后的策略切换？
• RQ4 与连续或非语义中间表征相比，使用语义表征在语言接地效率与可扩展性方面表现如何？

主要发现

• decstr 智能体成功发现并掌握了操纵环境中所有可达的语义配置，仅依赖内在动机与以物体为中心的归纳偏置。
• 基于 c-VAE 的目标生成器实现了有效的语言接地，为单条指令生成多个有效语义配置，支持行为多样性。
• 智能体通过生成与同一语言命令匹配的替代目标配置，展示了失败后的策略切换能力。
• 语义表征减少了对手工设计课程与复杂好奇心机制的依赖，简化了积木操纵任务中的技能获取。
• 该框架在行为多样性与鲁棒性方面优于端到端 LC-RL，因其能为每条指令生成多个有效行为。
• 基于谓词的语义表征实现了高效的语言接地，并促进了对新句子与未知初始配置的泛化能力。