[论文解读] Explore then Execute: Adapting without Rewards via Factorized Meta-Reinforcement Learning

Evan Zheran Liu, Aditi Raghunathan+2 more|arXiv (Cornell University)|Jun 12, 2020

Reinforcement Learning in Robotics参考文献 21被引用 6

一句话总结

本文提出 DREAM，一种因子化元强化学习方法，通过独立于特定任务奖励地识别关键环境信息，将探索与任务执行解耦。通过解决探索与任务求解之间的‘先有鸡还是先有蛋’困境，DREAM 实现了在无奖励信号环境下的有效适应，在先前方法失败的稀疏奖励 3D 视觉导航任务中取得成功。

ABSTRACT

We seek to efficiently learn by leveraging shared structure between different tasks and environments. For example, cooking is similar in different kitchens, even though the ingredients may change location. In principle, meta-reinforcement learning approaches can exploit this shared structure, but in practice, they fail to adapt to new environments when adaptation requires targeted exploration (e.g., exploring the cabinets to find ingredients in a new kitchen). We show that existing approaches fail due to a chicken-and-egg problem: learning what to explore requires knowing what information is critical for solving the task, but learning to solve the task requires already gathering this information via exploration. For example, exploring to find the ingredients only helps a robot prepare a meal if it already knows how to cook, but the robot can only learn to cook if it already knows where the ingredients are. To address this, we propose a new exploration objective (DREAM), based on identifying key information in the environment, independent of how this information will exactly be used solve the task. By decoupling exploration from task execution, DREAM explores and consequently adapts to new environments, requiring no reward signal when the task is specified via an instruction. Empirically, DREAM scales to more complex problems, such as sparse-reward 3D visual navigation, while existing approaches fail from insufficient exploration.

研究动机与目标

• 解决在需要探索但无奖励信号时适应新环境的挑战。
• 克服元强化学习中的‘先有鸡还是先有蛋’困境，即探索依赖于任务知识，而任务求解又依赖于探索。
• 实现在需要针对性探索的环境中（如在新厨房中寻找食材或导航 3D 视觉环境）的有效适应。
• 开发一种可独立于特定任务奖励设计的方法，以识别关键环境信息。
• 将元强化学习扩展至复杂、稀疏奖励环境，这些环境因探索不足而使现有方法失效。

提出的方法

• DREAM 引入一种新颖的探索目标，可在不依赖特定任务奖励的情况下识别关键环境信息。
• 它将元强化学习分解为两个阶段：专注于发现关键环境状态的‘探索’阶段，以及利用该知识执行任务的‘执行’阶段。
• 探索目标通过源自环境结构的自监督信号进行训练，而非来自任务奖励。
• 该方法使用环境的潜在表征来识别可能对未来任务有用的资讯，而与具体任务无关。
• DREAM 训练一个元策略，以引导探索朝向能最大化环境信息增益的状态，且独立于下游任务表现。
• 该框架实现了对通过自然语言指令指定的新任务的零样本适应，且在适应过程中无需奖励信号。

实验结果

研究问题

• RQ1 当需要探索但无奖励信号时，元强化学习智能体如何适应新环境？
• RQ2 为何现有元强化学习方法在无奖励、需针对性探索的环境中会失败？
• RQ3 是否可以以一种使无奖励信号下实现有效适应的方式，将探索与任务执行解耦？
• RQ4 何种自监督信号可引导探索，以识别对解决多样化任务至关重要的信息？
• RQ5 因子化元强化学习方法是否可扩展至复杂、稀疏奖励的视觉导航任务？

主要发现

• DREAM 在无奖励信号的情况下成功适应新环境，解决了现有元强化学习方法无法解决的任务。
• 该方法在稀疏奖励的 3D 视觉导航任务中实现有效适应，而先前方法因探索不足而失败。
• 通过将探索与任务执行解耦，DREAM 解决了元强化学习中探索密集型任务固有的‘先有鸡还是先有蛋’困境。
• DREAM 中的自监督探索目标可在不依赖任务奖励或真实标签监督的情况下，识别出有用的环境信息。
• DREAM 展示了对通过自然语言指令指定的新任务的零样本适应能力，且在适应过程中无需奖励信号。
• 实证结果表明，DREAM 的性能可扩展至比以往元强化学习方法更复杂的环境，尤其在稀疏或延迟奖励的场景中表现更优。