[论文解读] HIGhER : Improving instruction following with Hindsight Generation for Experience Replay

Geoffrey Cideron, Mathieu Seurin+2 more|arXiv (Cornell University)|Oct 21, 2019

Reinforcement Learning in Robotics被引用 15

一句话总结

HIGhER 提出了一种新颖的方法，通过为失败轨迹生成自然语言的 hindsight 目标，在强化学习中提升指令遵循能力，实现在无专家监督下的经验回放。通过在成功轨迹上训练目标映射网络，将失败重新标注为语义一致的指令，HIGhER 实现了与标准 Hindsight Experience Replay 相当的性能，同时消除了对人类演示的依赖。

ABSTRACT

Language creates a compact representation of the world and allows the description of unlimited situations and objectives through compositionality. While these characterizations may foster instructing, conditioning or structuring interactive agent behavior, it remains an open-problem to correctly relate language understanding and reinforcement learning in even simple instruction following scenarios. This joint learning problem is alleviated through expert demonstrations, auxiliary losses, or neural inductive biases. In this paper, we propose an orthogonal approach called Hindsight Generation for Experience Replay (HIGhER) that extends the Hindsight Experience Replay (HER) approach to the language-conditioned policy setting. Whenever the agent does not fulfill its instruction, HIGhER learns to output a new directive that matches the agent trajectory, and it relabels the episode with a positive reward. To do so, HIGhER learns to map a state into an instruction by using past successful trajectories, which removes the need to have external expert interventions to relabel episodes as in vanilla HER. We show the efficiency of our approach in the BabyAI environment, and demonstrate how it complements other instruction following methods.

研究动机与目标

• 为解决语言条件强化学习中的稀疏奖励问题，即智能体仅在完整完成任务时才获得反馈。
• 消除在使用自然语言目标时，Hindsight Experience Replay (HER) 中对人类演示进行失败轨迹重标注的依赖。
• 通过利用语言的组合性与轨迹一致性，实现语言理解与导航策略的联合学习。
• 证明自监督的 hindsight 目标生成可达到专家监督 HER 在指令遵循环境中的性能水平。
• 提供一种可扩展、可泛化的指令遵循方法，仅通过环境交互即可从零开始训练。

提出的方法

• HIGhER 训练一个目标映射网络，仅使用成功轨迹作为监督，从最终状态预测自然语言指令。
• 在失败时，将智能体的轨迹用与实际结果匹配的生成指令重新标注，从而生成正向奖励信号。
• 将重新标注的轨迹存入经验回放缓冲区，使策略能够从成功轨迹和重新标注的（但语义有效的）轨迹中学习。
• 通过将空间目标重标注替换为基于语言的目标生成，将 HER 扩展至语言目标，避免了对外部专家的依赖。
• 目标映射网络与策略通过深度 Q 学习端到端联合训练，实现语言理解与动作选择的联合优化。
• 该方法依赖语言的组合性，生成多样且有意义的指令，如 '捡起任意红色物体' 或 '取一个不是蓝色的球'。

实验结果

研究问题

• RQ1 模型能否为失败轨迹生成语义一致的语言指令，以提升指令遵循强化学习中的样本效率？
• RQ2 自监督的 hindsight 目标生成在语言条件环境中的性能，能在多大程度上匹配专家监督 HER 的表现？
• RQ3 与标准强化学习基线相比，HIGhER 在存在噪声或不完美语言监督下的表现如何？
• RQ4 通过利用语言的组合性与轨迹一致性，目标映射器能否泛化到未见过的指令？
• RQ5 语言理解与导航策略的联合学习是否能提升对未见指令的零样本泛化能力？

主要发现

• 尽管仅依赖环境交互且无任何人类演示，HIGhER 在 BabyAI 环境中的性能与标准 Hindsight Experience Replay (HER) 相当。
• 该方法通过为失败 episode 生成有意义的 hindsight 指令，显著降低了指令遵循任务中的样本复杂度。
• HIGhER 在噪声和不完美语言监督下表现出鲁棒性，在具有挑战性的指令遵循场景中优于标准 DQN 和 HER 基线。
• 目标映射器能够从观测轨迹中学习生成语义一致且多样的指令，如 '捡起任意红色物体' 或 '取一个不是蓝色的球'。
• 实证结果表明，HIGhER 能够有效实现语言理解与导航策略的联合学习，并在未见指令上展现出强大的泛化能力。
• 该方法可泛化至语言以外的其他模态，表明其在视觉-语言或多模态目标空间中具有潜在扩展性。