[论文解读] Guiding Policies with Language via Meta-Learning

John D. Co-Reyes, Abhishek Gupta+6 more|arXiv (Cornell University)|Nov 19, 2018

Reinforcement Learning in Robotics参考文献 39被引用 8

一句话总结

本文提出了一种元学习框架，通过自然语言修正来指导策略，使智能体能够通过人类提供的语言反馈迭代改进行为。该方法通过将修正内容与过去轨迹对齐，在模拟导航和操作任务中实现了高性能表现，优于非交互式指令跟随方法，并能泛化到未见过的物体和更长的修正序列。

ABSTRACT

Behavioral skills or policies for autonomous agents are conventionally learned from reward functions, via reinforcement learning, or from demonstrations, via imitation learning. However, both modes of task specification have their disadvantages: reward functions require manual engineering, while demonstrations require a human expert to be able to actually perform the task in order to generate the demonstration. Instruction following from natural language instructions provides an appealing alternative: in the same way that we can specify goals to other humans simply by speaking or writing, we would like to be able to specify tasks for our machines. However, a single instruction may be insufficient to fully communicate our intent or, even if it is, may be insufficient for an autonomous agent to actually understand how to perform the desired task. In this work, we propose an interactive formulation of the task specification problem, where iterative language corrections are provided to an autonomous agent, guiding it in acquiring the desired skill. Our proposed language-guided policy learning algorithm can integrate an instruction and a sequence of corrections to acquire new skills very quickly. In our experiments, we show that this method can enable a policy to follow instructions and corrections for simulated navigation and manipulation tasks, substantially outperforming direct, non-interactive instruction following.

研究动机与目标

• 解决奖励函数和示范在为自主智能体指定任务时的局限性。
• 实现用户逐步纠正策略的交互式、基于语言的任务指定。
• 开发一种元学习模型，使其在任务间具有泛化能力，并利用语言反馈纠正行为。
• 在需要空间推理和精确控制的模拟环境中评估该方法。
• 评估模型在未见过的物体和更长修正序列上的泛化能力。

提出的方法

• 该方法使用元学习训练一种策略，该策略接收自身过去的轨迹、语言指令以及一系列语言修正，以改进行为。
• 模型在多样化的任务上进行训练，使用基于手工设计语法规则生成的合成语言修正。
• 在元测试阶段，模型通过基于语言反馈迭代优化动作，泛化到新任务。
• 该架构将指令、动作历史和修正整合为单一输入，以预测改进后的动作。
• 模型通过学习自身错误来纠正错误，利用语言对行为调整进行定位。
• 该框架支持方向型和二元型修正，实现对策略的细粒度优化。

实验结果

研究问题

• RQ1 策略能否通过迭代语言修正而非直接指令来学习改进其行为？
• RQ2 与仅使用最近一次修正相比，访问多个过去修正是否能提升学习性能？
• RQ3 模型能否泛化到元训练期间未见过的新任务和新物体？
• RQ4 即使修正序列长于训练时见过的长度，性能是否仍会随着更长的修正序列而提升？
• RQ5 不同类型的修正（如方向型与二元型）如何影响学习效率？

主要发现

• 在包含10次修正的多房间导航任务中，模型的完成率达到0.86，显著优于非交互式指令跟随方法。
• 在物体重定位任务中，模型在10次修正下达到0.95的完成率，展现出在连续控制中的高精度。
• 移除对过去修正的访问会显著降低性能，表明对过去行为的记忆对稳定学习至关重要。
• 测试时性能随着更多修正而持续提升（例如，多房间任务中从0.82提升至0.86），尽管收益递减。
• 方向型修正（如“目标在西南方向”）使完成率从c1到c5提升了25%，而二元型修正（如“你在一个错误的房间”）则仅带来微小增益。
• 模型在未见过的物体（如绿色三角形）上实现了0.75的完成率（c5），尽管训练期间未接触过该特定物体，但仍优于基线方法。