[论文解读] ACTRCE: Augmenting Experience via Teacher's Advice For Multi-Goal Reinforcement Learning

Harris Chan, Yuhuai Wu+3 more|arXiv (Cornell University)|Feb 12, 2019

Reinforcement Learning in Robotics参考文献 26被引用 21

一句话总结

ACTRCE 提出了一种强化学习方法，该方法在事后经验回放（HER）中使用自然语言作为目标表征，使智能体能够在复杂3D导航任务中从稀疏奖励中学习。通过利用教师提供的语言形式事后建议，智能体即使在极少建议的情况下也能实现优异性能，泛化到未见过的指令和词汇表，并优于非语言基的HER方法。

ABSTRACT

Sparse reward is one of the most challenging problems in reinforcement learning (RL). Hindsight Experience Replay (HER) attempts to address this issue by converting a failed experience to a successful one by relabeling the goals. Despite its effectiveness, HER has limited applicability because it lacks a compact and universal goal representation. We present Augmenting experienCe via TeacheR's adviCE (ACTRCE), an efficient reinforcement learning technique that extends the HER framework using natural language as the goal representation. We first analyze the differences among goal representation, and show that ACTRCE can efficiently solve difficult reinforcement learning problems in challenging 3D navigation tasks, whereas HER with non-language goal representation failed to learn. We also show that with language goal representations, the agent can generalize to unseen instructions, and even generalize to instructions with unseen lexicons. We further demonstrate it is crucial to use hindsight advice to solve challenging tasks, and even small amount of advice is sufficient for the agent to achieve good performance.

研究动机与目标

• 通过将事后经验回放（HER）扩展为使用自然语言目标表征，解决强化学习中稀疏奖励的挑战。
• 通过基于语言的目标抽象，使智能体能够泛化到未见过的指令和词汇表。
• 证明在复杂环境中，极少的自然语言事后建议已足以实现有效学习。
• 通过结合语言接地与事后学习，提升多目标强化学习中的样本效率与泛化能力。
• 为模拟3D环境中的语言条件策略学习提供一种实用且可扩展的框架。

提出的方法

• 该方法使用自然语言作为紧凑、表达性强且可泛化的目標表征，取代HER中的状态基目标。
• 每轮训练结束后，教师提供一个关于达成结果的自然语言描述作为事后建议。
• 智能体将此建议视为新目标，并为该经验分配密集奖励（例如，1），从而将失败转化为成功。
• 使用预训练的句子编码器（例如，InferLite）将语言建议嵌入潜在向量，用于策略训练。
• 该方法与深度Q网络及基于GRU的循环网络结合，以建模具有语言条件目标的序列决策过程。
• 通过将预训练语言模型的语义特征迁移至未见词汇或短语，实现零样本泛化。

实验结果

研究问题

• RQ1 自然语言目标表征是否能提升多目标强化学习中稀疏奖励下的样本效率与学习性能？
• RQ2 使用自然语言形式的事后建议是否能实现对未见过指令和未见词汇表的泛化？
• RQ3 有效学习需要多少事后建议？极少建议是否足够？
• RQ4 在复杂3D环境中，基于语言的目标表征是否优于基于状态的目标表征，尤其是在HER中？
• RQ5 通过教师建议实现的语言接地在多大程度上增强了模拟环境中策略的泛化能力与鲁棒性？

主要发现

• ACTRCE 成功解决了ViZDoom中具有挑战性的3D导航任务，而使用非语言目标的HER方法在这些任务中未能学习成功。
• 智能体仅在1%的训练帧接收到事后建议的情况下即达到高性能，证明了对极少教师输入的鲁棒性。
• 通过预训练句子嵌入，该方法实现了对未见指令（包括未见词汇）的零样本泛化。
• 与基线HER相比，对未见指令的泛化能力显著更优，后者无法泛化至已见目标之外。
• 与原始状态基目标相比，基于语言的目标表征产生了更紧凑且更具语义意义的表征，减少了冗余。
• 即使建议仅在前1%的帧中提供，性能依然强劲，证实了该方法在低监督设置下的实用性。