[论文解读] Language-Conditioned Goal Generation: a New Approach to Language Grounding for RL

Cédric Colas, Ahmed Akakzia+3 more|arXiv (Cornell University)|Jun 12, 2020

Multimodal Machine Learning Applications参考文献 38被引用 6

一句话总结

本文提出语言条件的目标生成，这是一种新颖的强化学习语言接地方法，通过将语言习得与感知运动策略学习解耦，实现对同一指令的多样化行为，同时保持泛化能力。该方法通过训练生成模型从自然语言指令中生成与语言无关的目标状态，在块堆叠环境中展示了更强的零样本泛化能力和行为多样性。

ABSTRACT

In the real world, linguistic agents are also embodied agents: they perceive and act in the physical world. The notion of Language Grounding questions the interactions between language and embodiment: how do learning agents connect or ground linguistic representations to the physical world ? This question has recently been approached by the Reinforcement Learning community under the framework of instruction-following agents. In these agents, behavioral policies or reward functions are conditioned on the embedding of an instruction expressed in natural language. This paper proposes another approach: using language to condition goal generators. Given any goal-conditioned policy, one could train a language-conditioned goal generator to generate language-agnostic goals for the agent. This method allows to decouple sensorimotor learning from language acquisition and enable agents to demonstrate a diversity of behaviors for any given instruction. We propose a particular instantiation of this approach and demonstrate its benefits.

研究动机与目标

• 为解决直接语言条件化在强化学习中的局限性，如对语言的完全依赖和行为多样性低的问题。
• 使智能体能够独立于语言学习感知运动策略，模拟婴儿在语言出现前的发展阶段。
• 利用语言表达抽象、可泛化的目标的能力，同时允许多种不同的行为对应同一指令。
• 提升对未见过的谓词和逻辑表达式组合的零样本泛化能力。

提出的方法

• 训练变分自编码器（VAE）以根据自然语言指令生成与语言无关的目标状态（二值向量）。
• 模型采用双流编码器：一个用于初始场景状态，另一个通过具有100维嵌入的GRU生成指令嵌入。
• 使用Kullback-Leibler散度损失（标准高斯先验）对潜在空间进行正则化，同时结合二值交叉熵损失进行重建。
• 解码器使用具有ReLU激活的全连接网络，输出经过Sigmoid函数处理的二值目标向量。
• 模型采用端到端训练，损失函数为 BCE_loss + β × KL_loss，其中 β = 0.6。
• 对 β、网络层数、学习率和潜在维度等超参数进行搜索，结果在多种配置下均表现稳健。

实验结果

研究问题

• RQ1 语言条件的目标生成是否能在固定策略下，为同一指令实现行为多样性？
• RQ2 将语言与策略学习解耦是否能提升对未见谓词组合（包括逻辑表达式如'A and B'或'(A and B) or (C and D)'）的泛化能力？
• RQ3 该模型在处理抽象、组合性指令时，能否生成多样且有效的目标状态？
• RQ4 该模型在零样本设置下，对新组合的动作动词与对象属性的泛化程度如何？
• RQ5 该模型能否从自然语言生成支持高层空间推理（如堆叠、邻近性）的目标？

主要发现

• 该模型能为给定指令成功生成多样且有效的目标状态，使得在单一预训练策略下可实现多种不同行为。
• 该方法在未见谓词组合（包括逻辑表达式如'A and B'或'(A and B) or (C and D)'，含否定）上实现了强大的零样本泛化能力。
• 在测试集4中，模型对20组独特的指令对实现了泛化，每条指令平均兼容9.5种最终配置。
• 在包含复杂逻辑组合的测试集5中，模型分别生成了6种和13种兼容目标，表明其对组合语言具有强鲁棒性。
• 超参数消融实验显示，模型在多种设置下性能稳定，最优结果出现在 β = 0.6、128层大小、0.005学习率和27维潜在空间时。