[论文解读] Offline Meta Reinforcement Learning.

Ron Dorfman, Aviv Tamar|arXiv (Cornell University)|Aug 6, 2020

Reinforcement Learning in Robotics被引用 7

一句话总结

本文提出离线元强化学习（OMRL），一种利用N个预训练强化学习智能体的离线数据来学习贝叶斯最优策略的方法，以实现对新未见任务的快速适应。通过将VariBAD扩展至离策略设置并结合深度神经网络，该方法实现了样本高效的元强化学习，显著优于传统方法在在线元强化学习设置下的表现。

ABSTRACT

Consider the following problem, which we term Offline Meta Reinforcement Learning (OMRL): given the complete training histories of $N$ conventional RL agents, trained on $N$ different tasks, design a learning agent that can quickly maximize reward in a new, unseen task from the same task distribution. In particular, while each conventional RL agent explored and exploited its own different task, the OMRL agent must identify regularities in the data that lead to effective exploration/exploitation in the unseen task. To solve OMRL, we take a Bayesian RL (BRL) view, and seek to learn a Bayes-optimal policy from the offline data. We extend the recently proposed VariBAD BRL algorithm to the off-policy setting, and demonstrate learning of Bayes-optimal exploration strategies from offline data using deep neural networks. Furthermore, when applied to the online meta-RL setting (agent simultaneously collects data and improves its meta-RL policy), our method is significantly more sample efficient than the conventional VariBAD.

研究动机与目标

• 解决仅使用先前训练的强化学习智能体的离线数据来实现对新未见任务的快速适应的挑战。
• 开发一种元强化学习智能体，能够在无需在线交互的情况下识别多样化任务间的共享规律。
• 通过深度神经网络将贝叶斯强化学习（BRL）扩展至离线、离策略设置。
• 通过利用离线数据对元策略进行预训练，提升在线元强化学习中的样本效率。

提出的方法

• 采用贝叶斯强化学习（BRL）视角，从N个不同任务中收集的离线数据中学习贝叶斯最优策略。
• 将VariBAD算法扩展至离策略设置，从而能够从静态、非交互式数据集中有效学习。
• 使用深度神经网络表示策略和价值函数的后验分布，实现在高维状态-动作空间中的可扩展推理。
• 使用离线演示训练元策略，以捕捉任务间共有的探索与利用策略。
• 利用离线数据的结构推断可泛化的归纳偏置，以支持快速适应。
• 在推理阶段将所得元策略应用于新任务，而无需额外的环境交互。

实验结果

研究问题

• RQ1 元强化学习智能体能否仅通过先前训练智能体的离线数据实现任务间的泛化？
• RQ2 在元强化学习设置下，能否从静态、离策略数据集中有效近似贝叶斯最优策略？
• RQ3 与标准方法相比，利用离线数据进行预训练是否能提升在线元强化学习中的样本效率？
• RQ4 可以从离线数据中发现哪些归纳偏置以支持在未见任务中的有效探索？
• RQ5 与在线元强化学习基线方法相比，所提出方法在样本效率方面表现如何？

主要发现

• 所提出的OMRL方法成功利用深度神经网络从离线数据中学习到贝叶斯最优探索策略。
• 该方法在在线元强化学习中实现了显著的样本效率提升，相较于标准VariBAD在在线设置下的表现更优。
• 通过利用离线数据，智能体在推理阶段无需在线交互即可有效泛化至新未见任务。
• 将VariBAD扩展至离策略设置，使得从静态数据集中稳定且有效地学习成为可能。
• 该方法识别出任务间的共享规律，支持即使在新任务未在训练中出现的情况下也能实现快速适应。
• 该方法表明，来自多个强化学习智能体的离线数据可被有效提炼为单一元策略，实现快速且可泛化的学习。