[论文解读] Asynchronous Methods for Model-Based Reinforcement Learning.

Yunzhi Zhang, Ignasi Clavera+2 more|arXiv (Cornell University)|Oct 28, 2019

Reinforcement Learning in Robotics被引用 4

一句话总结

本文提出了一种用于基于模型强化学习的异步框架，通过解耦并行化模型学习与策略优化，将实际训练时间减少至与数据收集时间相当。该方法通过改善探索并减少策略对不完美动力学模型的过拟合，提升了样本效率，在MuJoCo基准测试和真实世界机器人操作任务中实现了最先进性能。

ABSTRACT

Significant progress has been made in the area of model-based reinforcement learning. State-of-the-art algorithms are now able to match the asymptotic performance of model-free methods while being significantly more data efficient. However, this success has come at a price: state-of-the-art model-based methods require significant computation interleaved with data collection, resulting in run times that take days, even if the amount of agent interaction might be just hours or even minutes. When considering the goal of learning in real-time on real robots, this means these state-of-the-art model-based algorithms still remain impractical. In this work, we propose an asynchronous framework for model-based reinforcement learning methods that brings down the run time of these algorithms to be just the data collection time. We evaluate our asynchronous framework on a range of standard MuJoCo benchmarks. We also evaluate our asynchronous framework on three real-world robotic manipulation tasks. We show how asynchronous learning not only speeds up learning w.r.t wall-clock time through parallelization, but also further reduces the sample complexity of model-based approaches by means of improving the exploration and by means of effectively avoiding the policy overfitting to the deficiencies of learned dynamics models.

研究动机与目标

• 为解决当前最先进基于模型强化学习算法存在的长实际训练时间问题，尽管交互周期较短，但训练仍需数天。
• 通过将训练时间缩短至与数据收集时间相当，实现实时学习，以支持真实机器人上的应用。
• 通过增强探索并缓解对不准确动力学模型的策略过拟合，提升样本效率。
• 在模拟的MuJoCo环境和真实世界机器人操作任务上，验证异步框架的有效性。

提出的方法

• 该框架解耦模型学习与策略优化，使其能够异步并行运行。
• 使用回放缓冲区存储转移数据，并支持动力学模型与策略网络的独立更新。
• 采用离策略数据收集方式，使用独立的行为策略，实现数据生成与学习过程的解耦。
• 应用异步随机梯度下降并行训练动力学模型与策略网络，提升训练吞吐量。
• 框架引入内在好奇心或探索奖励，以增强学习过程中的探索能力。
• 通过使用更多样化的数据更新策略，减少对可能存在缺陷的动力学模型的依赖，从而降低过拟合风险。

实验结果

研究问题

• RQ1 异步训练能否将基于模型强化学习的实际训练时间减少至与数据收集时间相当？
• RQ2 异步学习是否通过增强探索提升基于模型强化学习的样本效率？
• RQ3 异步训练能否缓解策略对学习到的动力学模型中不准确性导致的过拟合？
• RQ4 与同步方法相比，该异步框架在标准MuJoCo基准测试中的表现如何？
• RQ5 该框架能否实现在真实世界机器人操作任务中的实用化实时学习？

主要发现

• 异步框架将实际训练时间减少至与数据收集时间相当，具备实现真正实时学习的潜力。
• 该方法通过支持更优探索，提升了样本效率，显著加快了仿真环境和真实任务中的收敛速度。
• 由于异步更新和多样化数据的利用，对有缺陷动力学模型的策略过拟合现象显著减少。
• 在MuJoCo基准测试中，该框架在渐近性能上达到或超过当前最先进模型自由与基于模型的方法。
• 该方法在三个真实世界机器人操作任务中表现出强大的泛化能力和鲁棒性，验证了其在实时机器人控制中的实用性。