[论文解读] Offline Meta Learning of Exploration

Ron Dorfman, Idan Shenfeld+1 more|arXiv (Cornell University)|Aug 6, 2020

Reinforcement Learning in Robotics参考文献 46被引用 9

一句话总结

该论文提出 BOReL，一种离线元强化学习框架，能够从传统强化学习智能体的离线数据中学习贝叶斯最优探索策略。通过将 VariBAD 扩展至离策略 Q-learning，并利用数据收集与奖励重标记解决 MDP 不确定性问题，BOReL 使元智能体能够发现新颖的探索策略——例如在稀疏奖励环境中进行系统性搜索——这些策略与训练数据中的策略截然不同，且优于在线 Thompson 采样基线方法。

ABSTRACT

Consider the following instance of the Offline Meta Reinforcement Learning (OMRL) problem: given the complete training logs of $N$ conventional RL agents, trained on $N$ different tasks, design a meta-agent that can quickly maximize reward in a new, unseen task from the same task distribution. In particular, while each conventional RL agent explored and exploited its own different task, the meta-agent must identify regularities in the data that lead to effective exploration/exploitation in the unseen task. Here, we take a Bayesian RL (BRL) view, and seek to learn a Bayes-optimal policy from the offline data. Building on the recent VariBAD BRL approach, we develop an off-policy BRL method that learns to plan an exploration strategy based on an adaptive neural belief estimate. However, learning to infer such a belief from offline data brings a new identifiability issue we term MDP ambiguity. We characterize the problem, and suggest resolutions via data collection and modification procedures. Finally, we evaluate our framework on a diverse set of domains, including difficult sparse reward tasks, and demonstrate learning of effective exploration behavior that is qualitatively different from the exploration used by any RL agent in the data.

研究动机与目标

• 开发一种离线元强化学习方法，从传统强化学习智能体的预收集数据中学习有效的探索策略。
• 将 VariBAD 框架扩展至离策略学习，同时通过信念增强状态保持贝叶斯最优性。
• 形式化并解决 MDP 不确定性问题，该问题源于离线数据无法识别环境结构，原因在于稀疏或重叠的状态转移。
• 证明元智能体能够学习到与训练数据中任何智能体均不同的、更有效的探索行为。

提出的方法

• 将 VariBAD 的信念增强状态表示适配至离策略 Q-learning，实现在无需在线交互的情况下进行贝叶斯强化学习。
• 使用变分自编码器从离线轨迹中学习自适应的神经信念估计。
• 应用离策略 Q-learning 训练元策略，在后验不确定性下平衡探索与利用。
• 提出一种数据收集协议，通过确保不同任务间具有多样化且非重叠的标识性状态，保证 MDP 的可识别性。
• 提出一种奖励重标记技术，当环境差异仅体现在奖励上时，无需重新收集数据即可解决 MDP 不确定性问题。
• 将上述组件整合为 BOReL，一种用于元强化学习的贝叶斯离线强化学习框架。

实验结果

研究问题

• RQ1 元智能体能否在无需在线交互的情况下，从传统强化学习智能体的离线数据中学习到有效的探索策略？
• RQ2 在元强化学习中，如何将贝叶斯强化学习扩展至离策略设置，同时保持贝叶斯最优性？
• RQ3 离线元强化学习中的 MDP 不确定性问题由何引起？如何在数据收集或预处理阶段加以缓解？
• RQ4 当环境差异仅体现在奖励上时，奖励重标记能否解决 MDP 不确定性问题？
• RQ5 所提出的方法是否学习到了与训练数据中策略本质不同的探索行为？

主要发现

• BOReL 学习到贝叶斯最优的探索策略，能够在稀疏奖励环境中系统性地搜索未知目标，例如在半圆环境中导航以寻找隐藏目标。
• 在 Ant-Semi-circle 环境中，元智能体在均匀数据收集下实现了平均回报 171.8 ± 7.0，显著优于缺乏数据多样性的方法。
• 元智能体的行为与训练数据存在质的差异：它在第一集探索，第二集利用，而训练数据中没有任何智能体表现出此类行为。
• 在非重叠标识性状态的环境中，若不使用策略重放，性能会急剧下降，证实了 MDP 不确定性在性能退化中的作用。
• 奖励重标记消融实验导致错误的信念更新——智能体错误地将注意力固定在首次访问的目标上——证明了重标记步骤的必要性。
• 即使在低多样性数据集（如固定初始位置）上，BOReL 仍能学习到非平凡的搜索行为，表明其对数据质量限制具有鲁棒性。