[论文解读] Learn to Effectively Explore in Context-Based Meta-RL.

Jin Zhang, Jianhao Wang+4 more|arXiv (Cornell University)|Jun 15, 2020

Reinforcement Learning in Robotics参考文献 14被引用 7

一句话总结

本文提出了一种新颖的基于上下文的离策略元强化学习框架，通过学习一个由信息论内在奖励驱动的专用探索策略，将探索与利用解耦。该方法在稀疏奖励的MuJoCo和Meta-World任务中实现了更优的适应性能，通过在适应阶段高效收集信息丰富的经验，优于现有基线方法。

ABSTRACT

Meta reinforcement learning (meta-RL) provides a principled approach for fast adaptation to novel tasks by extracting prior knowledge from previous tasks. Under such settings, it is crucial for the agent to perform efficient exploration during adaptation to collect useful experiences. However, existing methods suffer from poor adaptation performance caused by inefficient exploration mechanisms, especially in sparse-reward problems. In this paper, we present a novel off-policy context-based meta-RL approach that efficiently learns a separate exploration policy to support fast adaptation, as well as a context-aware exploitation policy to maximize extrinsic return. The explorer is motivated by an information-theoretical intrinsic reward that encourages the agent to collect experiences that provide rich information about the task. Experiment results on both MuJoCo and Meta-World benchmarks show that our method significantly outperforms baselines by performing efficient exploration strategies.

研究动机与目标

• 为解决现有元强化学习方法在稀疏奖励设置下因探索效率低下而导致的适应性能差的问题。
• 通过学习一个独立的探索策略，在适应过程中收集信息丰富的经验，实现快速适应。
• 设计一种上下文感知的利用策略，基于任务上下文最大化外部回报。
• 通过内在奖励设计，提升基于上下文的元强化学习中的样本效率和探索有效性。
• 在标准元强化学习基准上展示优越性能，特别是在具有挑战性的稀疏奖励环境中。

提出的方法

• 该方法引入一个独立的探索策略，通过信息论内在奖励进行训练，以最大化关于任务上下文的信息增益。
• 内在奖励源自智能体动作与任务上下文之间的互信息，鼓励探索具有信息量的状态-动作对。
• 训练一种上下文感知的利用策略，以最大化外部回报，其条件基于与探索者相同的上下文。
• 该框架采用离策略机制，支持高效的经验回放和适应阶段间的样本重用。
• 探索与利用策略通过元强化学习目标联合训练，以优化在多样化任务上的快速适应能力。
• 该方法利用SAC或TD3等离策略算法，结合上下文条件策略和内在信用分配机制。

实验结果

研究问题

• RQ1 如何在基于上下文的元强化学习中提升探索效率以实现快速适应？
• RQ2 信息论内在奖励是否能提升稀疏奖励元强化学习环境中的探索效率？
• RQ3 与联合优化相比，解耦探索与利用是否能带来更好的适应性能？
• RQ4 该方法在标准基准上与现有离策略元强化学习基线相比表现如何？
• RQ5 该方法在未见任务上的样本效率和泛化能力提升程度如何？

主要发现

• 所提方法在MuJoCo和Meta-World基准上，适应性能显著优于现有离策略元强化学习基线方法。
• 采用信息论内在奖励可实现更高效的探索，尤其在稀疏奖励环境中表现更优。
• 解耦的探索与利用策略相比联合训练方法，能实现更快的收敛速度。
• 由于在适应阶段收集了更优的经验，该方法在未见任务上获得了更高的最终回报。
• 框架展现出更高的样本效率，表现为学习曲线更快收敛且样本复杂度更低。
• 消融实验确认，在稀疏奖励设置下，内在奖励机制对性能提升至关重要。