[论文解读] MOReL : Model-Based Offline Reinforcement Learning

Rahul Kidambi, Aravind Rajeswaran+2 more|arXiv (Cornell University)|May 12, 2020

Reinforcement Learning in Robotics参考文献 86被引用 158

一句话总结

MOReL 引入了一种基于模型的离线强化学习框架，该框架从离线数据构建一个悲观的 MDP 并学习近似最优策略，具备理论上的极小极大最优保证，并在离线 RL 基准测试中达到 SOTA 结果。

ABSTRACT

In offline reinforcement learning (RL), the goal is to learn a highly rewarding policy based solely on a dataset of historical interactions with the environment. The ability to train RL policies offline can greatly expand the applicability of RL, its data efficiency, and its experimental velocity. Prior work in offline RL has been confined almost exclusively to model-free RL approaches. In this work, we present MOReL, an algorithmic framework for model-based offline RL. This framework consists of two steps: (a) learning a pessimistic MDP (P-MDP) using the offline dataset; and (b) learning a near-optimal policy in this P-MDP. The learned P-MDP has the property that for any policy, the performance in the real environment is approximately lower-bounded by the performance in the P-MDP. This enables it to serve as a good surrogate for purposes of policy evaluation and learning, and overcome common pitfalls of model-based RL like model exploitation. Theoretically, we show that MOReL is minimax optimal (up to log factors) for offline RL. Through experiments, we show that MOReL matches or exceeds state-of-the-art results in widely studied offline RL benchmarks. Moreover, the modular design of MOReL enables future advances in its components (e.g. generative modeling, uncertainty estimation, planning etc.) to directly translate into advances for offline RL.

研究动机与目标

• 动机：在静态数据集学习时激励离线 RL，并解决数据效率和安全性问题。
• 提出一种基于模型的离线 RL 框架，通过悲观性来缓解模型利用。
• 提供理论保证，显示 MOReL 在离线 RL 中的近似极小极大最优性。
• 在已建立的离线 RL 基准和 D4RL 上展示经验性 SOTA 性能。

提出的方法

• 从离线数据集学习近似动态模型 ˆP。
• 引入一个未知状态-动作探测器（USAD），基于模型精度通过全变差距离将已知区域与未知区域划分。
• 构建一个带有吸收状态 HALT 的悲观 MDP，对未知区域给予高额惩罚（−κ），并将未知状态引导至 HALT。
• 在悲观 MDP 中进行规划以获得一个在 P-MDP 中近似 επ-次最优的策略（PLANNER）。
• 可选地从数据中估计行为策略并结合模型集合来量化 USAD 的不确定性。
• 提供理论保证，界定离线 MDP 与 P-MDP 之间的策略值差，并证明近似极小极大最优性。

实验结果

研究问题

• RQ1 在标准基准中，MOReL 相对于先前的离线 RL 方法的表现如何？
• RQ2 一个带有悲观性的基于模型的离线 RL 框架是否能提供强有力的理论保证和对模型利用的实际稳定性？
• RQ3 离线数据的质量与覆盖范围如何影响 MOReL 学到的策略？
• RQ4 在 P-MDP 中的学习进展是否能有效转化为对真实环境的进展？

主要发现

• MOReL 在 20 种环境-数据集配置中取得 12 种最先进结果，在其余配置中具竞争力。
• MOReL 在 D4RL 基准上取得强劲结果，通常超越或接近在各领域中的顶尖方法。
• 通过未知区域惩罚的 P-MDP 正则化比朴素的基于模型的 RL 产生更稳定且单调的学习曲线。
• 理论界定表明，P-MDP 中的策略值与真实 MDP 的差距在很大程度上随起始状态分布不匹配、模型误差 α、以及未知状态的击中时间等项而变化地接近。
• 实证结果表明，数据日志策略的质量显著影响 MOReL 的性能；更好的日志策略会带来更高的可达到策略值。