[论文解读] Decoupling Exploration and Exploitation for Meta-Reinforcement Learning without Sacrifices

Evan Zheran Liu, Aditi Raghunathan+2 more|arXiv (Cornell University)|Aug 6, 2020

Reinforcement Learning in Robotics参考文献 55被引用 9

一句话总结

本文提出 Dream，一种元强化学习算法，通过使用问题 ID 来独立学习与任务相关的信息，从而解耦探索与利用。通过利用问题 ID 的表示来训练利用策略，并训练探索策略仅恢复该信息，Dream 避免了端到端训练中的鸡生蛋蛋生鸡问题，在稀疏奖励的 3D 导航任务上实现了比之前方法高 90% 的回报，同时不牺牲最优探索。

ABSTRACT

The goal of meta-reinforcement learning (meta-RL) is to build agents that can quickly learn new tasks by leveraging prior experience on related tasks. Learning a new task often requires both exploring to gather task-relevant information and exploiting this information to solve the task. In principle, optimal exploration and exploitation can be learned end-to-end by simply maximizing task performance. However, such meta-RL approaches struggle with local optima due to a chicken-and-egg problem: learning to explore requires good exploitation to gauge the exploration's utility, but learning to exploit requires information gathered via exploration. Optimizing separate objectives for exploration and exploitation can avoid this problem, but prior meta-RL exploration objectives yield suboptimal policies that gather information irrelevant to the task. We alleviate both concerns by constructing an exploitation objective that automatically identifies task-relevant information and an exploration objective to recover only this information. This avoids local optima in end-to-end training, without sacrificing optimal exploration. Empirically, DREAM substantially outperforms existing approaches on complex meta-RL problems, such as sparse-reward 3D visual navigation. Videos of DREAM: https://ezliu.github.io/dream/

研究动机与目标

• 为了解决端到端元强化学习中的鸡生蛋蛋生鸡问题，即探索与利用相互依赖于对方的信号。
• 避免先前解耦方法中探索策略收集与任务无关信息的次优探索行为。
• 通过独立且明确定义的目标，实现探索与利用的一致性、最优学习。
• 通过将任务相关信息的学习与探索过程解耦，提高元强化学习的样本效率。
• 证明解耦方法可以在不牺牲最优探索行为的前提下实现更优性能。

提出的方法

• 利用问题 ID（独热向量）作为利用策略的任务相关信息来源。
• 通过问题 ID 表示的可学习表征来训练利用策略，并利用信息瓶颈正则化以丢弃无关信息。
• 设计探索目标，使其回归问题 ID 表征中编码的任务相关信息。
• 使用状态-动作对的统计计数来估计解码器 $\hat{q}(\mu \mid \tau^{\text{exp}}_{\mathbf{a}})$，该解码器将探索轨迹映射到问题 ID。
• 通过回归到估计的解码器来学习探索 Q 值 $\hat{Q}^{\text{exp}}$，确保仅恢复相关信息。
• 证明理论一致性：在足够容量和数据下，优化独立目标可得到最优策略。

实验结果

研究问题

• RQ1 在元强化学习中解耦探索与利用，能否在不牺牲最优探索的前提下消除鸡生蛋蛋生鸡问题？
• RQ2 独立的探索目标能否仅恢复任务相关信息，避免次优的数据收集？
• RQ3 通过问题 ID 表征学习利用是否相比端到端训练提高了样本效率？
• RQ4 所提方法能否在复杂且稀疏奖励的环境中实现高于最先进元强化学习算法的回报？
• RQ5 解耦目标是否具有理论一致性，使得优化它能导致最优策略？

主要发现

• Dream 在稀疏奖励的 3D 视觉导航基准上，相比 Pearl、E-RL2、Import 和 VariBAD 等最先进方法，实现了 90% 更高的回报。
• 理论分析表明，与 RL2 等端到端方法相比，Dream 将样本复杂度降低了 $|\mathcal{A}|^{H}|\mathcal{M}|$ 倍。
• Dream 在 $\mathcal{O}(|\mathcal{A}|^{H}\log|\mathcal{A}|^{H})$ 期望样本数内学习到最优探索策略，而 RL2 需要 $\Omega(|\mathcal{A}|^{2H}|\mathcal{M}|\log|\mathcal{A}|^{H})$ 个样本。
• 该方法成功在教学性基准和类真实世界的 3D 导航任务上学习到复杂的探索策略。
• 对问题 ID 表征施加的信息瓶颈确保仅保留与任务相关的信息用于利用。
• 实证结果证实，Dream 避免了局部最优，并同时实现了最优探索与利用。