[论文解读] When to Trust Your Simulator: Dynamics-Aware Hybrid Offline-and-Online Reinforcement Learning

Haoyi Niu, Shubham Sharma+5 more|arXiv (Cornell University)|Jun 27, 2022

Reinforcement Learning in Robotics被引用 7

一句话总结

该论文提出H2O，一种动力学感知的混合离线-在线强化学习框架，通过结合有限的真实世界离线数据与不完美的模拟器中的在线滚动数据，减少仿真到现实的策略部署差距。通过利用真实数据对比，自适应地对模拟过渡中动力学差距较大的Q值进行惩罚，H2O在小规模离线数据集下优于纯离线或在线基线方法，展现出在仿真和真实世界机器人任务中均具备鲁棒性和样本效率的优越性能。

ABSTRACT

Learning effective reinforcement learning (RL) policies to solve real-world complex tasks can be quite challenging without a high-fidelity simulation environment. In most cases, we are only given imperfect simulators with simplified dynamics, which inevitably lead to severe sim-to-real gaps in RL policy learning. The recently emerged field of offline RL provides another possibility to learn policies directly from pre-collected historical data. However, to achieve reasonable performance, existing offline RL algorithms need impractically large offline data with sufficient state-action space coverage for training. This brings up a new question: is it possible to combine learning from limited real data in offline RL and unrestricted exploration through imperfect simulators in online RL to address the drawbacks of both approaches? In this study, we propose the Dynamics-Aware Hybrid Offline-and-Online Reinforcement Learning (H2O) framework to provide an affirmative answer to this question. H2O introduces a dynamics-aware policy evaluation scheme, which adaptively penalizes the Q function learning on simulated state-action pairs with large dynamics gaps, while also simultaneously allowing learning from a fixed real-world dataset. Through extensive simulation and real-world tasks, as well as theoretical analysis, we demonstrate the superior performance of H2O against other cross-domain online and offline RL algorithms. H2O provides a brand new hybrid offline-and-online RL paradigm, which can potentially shed light on future RL algorithm design for solving practical real-world tasks.

研究动机与目标

• 解决由于模拟器不完美、动力学简化而引起的强化学习中的仿真到现实泛化差距问题。
• 克服纯离线强化学习的局限性，后者在离线数据集状态-动作覆盖有限时易出现过度保守且性能不佳的问题。
• 开发一种统一框架，协同结合仿真中在线强化学习的无限制探索能力与真实世界离线数据的精确动力学特性。
• 实现在真实世界应用中高性能策略学习，其中大规模真实世界数据的收集成本高昂或不切实际。

提出的方法

• H2O引入一种动力学感知的策略评估机制，利用学习到的动力学模型量化模拟与真实过渡之间的动力学差距。
• 它对模拟状态-动作对中动力学差距较大的情况自适应地惩罚Q值，从而在训练过程中降低错误模拟数据的影响。
• 该框架同时在固定的真实世界离线数据集和不完美模拟器中的在线滚动数据上进行训练，维持一个固定大小的模拟缓冲区。
• 它采用一种值正则化方案，根据动力学差距的大小动态调整Q值更新，提升样本效率和策略鲁棒性。
• 该方法使用基于对比学习的动力学模型来估计模拟与真实轨迹之间的差异，实现可靠的差距检测。
• H2O设计为与标准离线强化学习算法（如CQL）兼容，支持无缝集成并实现性能提升。

实验结果

研究问题

• RQ1 当使用不完美的模拟器和有限的真实世界数据时，混合离线-在线强化学习框架能否有效减少仿真到现实的差距？
• RQ2 如何量化仿真与现实之间的动力学差距，并在不依赖高保真模拟器的前提下，利用该差距指导策略学习？
• RQ3 将模拟环境中的在线探索与真实世界数据相结合，是否能比纯离线或在线强化学习带来更高的样本效率和性能？
• RQ4 在采用动力学感知校正机制时，离线数据集大小对策略性能有何影响？
• RQ5 所提出的框架是否能在仿真和真实世界机器人环境中均优于现有的离线和在线强化学习方法？

主要发现

• 在HalfCheetah和Walker2d环境中，H2O始终优于CQL及其他基线方法，尤其在离线数据集规模低于50k次过渡时表现更优。
• 在60k次离线过渡数据下，H2O保持了强劲性能，而CQL的性能显著下降，表明H2O对小规模离线数据集具有更强鲁棒性。
• 在HalfCheetah Random数据集（低质量数据）下，摩擦动力学条件下H2O获得4,862±1,608的回报，优于SAC（2,684±2,646）和CQL（2,465±180），展现出对劣质数据的强适应能力。
• 在Walker2d Medium Replay数据集（重力参数修改）下，H2O获得3,656±582的回报，超过DARC+（2,375±579）和CQL（1,445±1,077），证实其在真实世界动力学场景下的有效性。
• 学习曲线显示，H2O及其变体H2O(v)在所有任务中均持续优于基线方法，而DARC+在某些情况下表现较差，凸显了在线与离线数据精心整合的重要性。
• 消融实验证实，动力学感知的Q值校正至关重要，若移除该机制，性能会下降，尤其在高动力学差距场景下更为明显。