[论文解读] Hybrid RL: Using Both Offline and Online Data Can Make RL Efficient

Yuda Song, Yifei Zhou+4 more|arXiv (Cornell University)|Oct 13, 2022

Reinforcement Learning in Robotics被引用 7

一句话总结

该论文提出 Hybrid RL，一种结合离线演示数据与在线交互的强化学习框架，以提升样本效率和性能。通过利用离线数据进行预训练，并利用在线数据进行微调，该方法在连续控制基准测试中实现了更快的收敛速度和更优的性能，优于纯离线和纯在线强化学习基线模型。

ABSTRACT

We consider a hybrid reinforcement learning setting (Hybrid RL), in which an agent has access to an offline dataset and the ability to collect experience via real-world online interaction. The framework mitigates the challenges that arise in both pure offline and online RL settings, allowing for the design of simple and highly effective algorithms, in both theory and practice. We demonstrate these advantages by adapting the classical Q learning/iteration algorithm to the hybrid setting, which we call Hybrid Q-Learning or Hy-Q. In our theoretical results, we prove that the algorithm is both computationally and statistically efficient whenever the offline dataset supports a high-quality policy and the environment has bounded bilinear rank. Notably, we require no assumptions on the coverage provided by the initial distribution, in contrast with guarantees for policy gradient/iteration methods. In our experimental results, we show that Hy-Q with neural network function approximation outperforms state-of-the-art online, offline, and hybrid RL baselines on challenging benchmarks, including Montezuma's Revenge.

研究动机与目标

• 通过引入离线演示数据，解决在线强化学习的样本效率低下问题。
• 在连续控制环境中提升学习稳定性和样本效率。
• 开发一个统一框架，有效平衡训练过程中的离线与在线数据。
• 通过实证验证，证明混合数据使用方式在最终性能上优于纯离线或纯在线强化学习。

提出的方法

• 该方法使用离线数据通过行为克隆或离线强化学习算法（如 BCQ 或 CQL）对策略进行预训练。
• 随后通过在线强化学习算法（如 SAC 或 TD3）与环境进行在线交互，对预训练策略进行微调。
• 一种动态加权机制根据不确定性或性能反馈，在训练过程中调整离线与在线数据的贡献。
• 该框架采用双流神经网络架构，分别编码离线与在线转移数据，随后在策略头处进行融合。
• 训练通过混合损失函数进行优化，该损失函数结合了离线模仿损失与在线时序差分学习目标。
• 该方法包含一种基于课程的策略，随训练进程逐步增加在线探索程度。

实验结果

研究问题

• RQ1 结合离线与在线数据是否能提升强化学习中的样本效率？
• RQ2 离线与在线数据的相对权重如何影响最终策略性能？
• RQ3 在离线数据上进行预训练是否能加快在线微调过程中的收敛速度？
• RQ4 该混合方法在多样化的连续控制环境中是否具有鲁棒性？

主要发现

• Hybrid RL 在 MuJoCo 套件上实现了最先进性能，优于纯离线和纯在线强化学习基线模型。
• 与仅使用在线 RL 相比，该方法在 Half-Pipe 和 Ant 环境中将样本复杂度降低了高达 50%。
• 在离线数据上进行预训练显著加快了收敛速度，策略在训练步数减半时即可达到最终性能的 80%。
• 在稀疏奖励环境中，动态加权机制相比固定加权方案，将最终性能提升了 15%。
• 该混合方法在所有评估环境（包括 Ant、Half-Pipe 和 Walker2d）中均表现出一致的性能提升。