[论文解读] Model-based Lookahead Reinforcement Learning

Zhang-Wei Hong, Joni Pajarinen+1 more|arXiv (Cornell University)|Aug 15, 2019

Reinforcement Learning in Robotics参考文献 45被引用 9

一句话总结

该论文提出MPC-MFRL，一种新颖的框架，结合了无模型强化学习（MFRL）与模型预测控制（MPC），在实现最先进性能的同时具备高数据效率。通过利用MFRL的探索性策略提升动力学模型质量，并结合MPC中的价值函数与软贪婪动作选择策略，该方法在保持MBRL级样本效率的同时，达到了MFRL级的性能表现，在MuJoCo连续控制基准测试中表现优异。

ABSTRACT

Model-based Reinforcement Learning (MBRL) allows data-efficient learning which is required in real world applications such as robotics. However, despite the impressive data-efficiency, MBRL does not achieve the final performance of state-of-the-art Model-free Reinforcement Learning (MFRL) methods. We leverage the strengths of both realms and propose an approach that obtains high performance with a small amount of data. In particular, we combine MFRL and Model Predictive Control (MPC). While MFRL's strength in exploration allows us to train a better forward dynamics model for MPC, MPC improves the performance of the MFRL policy by sampling-based planning. The experimental results in standard continuous control benchmarks show that our approach can achieve MFRL`s level of performance while being as data-efficient as MBRL.

研究动机与目标

• 为解决无模型强化学习（MFRL）在机器人等现实应用中样本复杂度过高的问题。
• 克服由于模型近似误差导致的MFRL与基于模型的强化学习（MBRL）之间的性能差距。
• 开发一种统一框架，结合MFRL的探索能力与MPC的规划能力，以提升数据效率与最终性能。
• 消除基于模型规划中对强假设（如完美动力学模型或二维状态空间）的依赖。
• 通过实证验证将MFRL策略与MPC结合使用价值函数及软贪婪动作选择策略的有效性。

提出的方法

• 训练MFRL策略以收集多样化、高质量的数据，用于学习前向动力学模型，从而提升模型准确度，优于仅使用MBRL的方法。
• 在推理阶段，将训练好的前向动力学模型用于MPC进行在线规划，实现样本高效、高性能的控制。
• 将MFRL策略的价值函数整合进MPC规划中，以指导动作选择，提升长时序决策能力。
• 在MPC中实现软贪婪动作选择策略，平衡探索与利用，降低近似模型中的过估计偏差。
• 联合优化策略与价值函数，以增强规划性能，而无需依赖完美动力学模型或结构化状态空间。
• 将该框架应用于标准MuJoCo连续控制环境，以评估其性能与数据效率。

实验结果

研究问题

• RQ1 与仅使用MBRL的数据采集方式相比，MFRL的探索行为是否能提升所学习前向动力学模型的质量？
• RQ2 将MFRL的价值函数整合进MPC规划中，是否能带来超越标准MPC或独立MFRL的性能提升？
• RQ3 在存在模型近似误差的情况下，MPC中的软贪婪动作选择策略与贪婪或随机动作选择相比表现如何？
• RQ4 所提出的框架在实现MFRL级性能的同时，能在多大程度上降低样本复杂度？
• RQ5 现有依赖完美动力学模型或受限状态空间结构的方法存在哪些局限性？

主要发现

• MPC-MFRL在实现与最先进MFRL方法相当的性能的同时，显著减少了环境交互次数，其数据效率与MBRL相当。
• 利用MFRL进行数据采集可提升所学前向动力学模型的准确性，从而带来更优的MPC规划结果。
• 将MFRL价值函数整合进MPC规划可提升长时序性能，并减少近似模型中的过估计误差。
• 所提出的软贪婪动作选择策略在不同模型复杂度下，始终优于贪婪和随机动作选择策略。
• 实证结果表明，MPC-MFRL在性能上超越了独立的MFRL与MPC，尤其在复杂的MuJoCo任务中表现更优。
• 该框架在任意状态空间与动作空间中均有效，且无需依赖完美动力学模型或二维状态结构的假设。