[论文解读] MBRL-Lib: A Modular Library for Model-based Reinforcement Learning

Luis A. Pineda, Brandon Amos+3 more|arXiv (Cornell University)|Apr 20, 2021

Reinforcement Learning in Robotics参考文献 37被引用 15

一句话总结

MBRL-Lib 是一个基于 PyTorch 的开源库，旨在加速连续控制任务中模型基于强化学习（MBRL）的研究与部署。该库提供模块化、可重用的组件，涵盖动力学建模、规划与策略优化，并包含最先进的算法（如 MBPO 和 PETS）的可复现实现，支持在 Mujoco 环境中快速原型设计、调试与基准测试，确保性能的一致性。

ABSTRACT

Model-based reinforcement learning is a compelling framework for data-efficient learning of agents that interact with the world. This family of algorithms has many subcomponents that need to be carefully selected and tuned. As a result the entry-bar for researchers to approach the field and to deploy it in real-world tasks can be daunting. In this paper, we present MBRL-Lib -- a machine learning library for model-based reinforcement learning in continuous state-action spaces based on PyTorch. MBRL-Lib is designed as a platform for both researchers, to easily develop, debug and compare new algorithms, and non-expert user, to lower the entry-bar of deploying state-of-the-art algorithms. MBRL-Lib is open-source at https://github.com/facebookresearch/mbrl-lib.

研究动机与目标

• 通过提供一个模块化、可重用的软件框架，降低研究人员和实践者在模型基于强化学习领域的入门门槛。
• 解决由于动力学模型与控制目标等组件之间复杂交互所导致的 MBRL 研究中的可复现性与调试挑战。
• 提供开箱即用、高保真度的最先进 MBRL 算法（如 MBPO、PETS）实现，支持轻松修改与扩展。
• 通过提供共享、标准化的代码库，促进社区驱动的开发，使研究人员能够构建、测试并贡献新算法。
• 通过提供易于访问、架构良好的工具，弥合模型无学习与模型基于学习之间的性能差距，推动 MBRL 研究的发展。

提出的方法

• 该库基于 PyTorch 构建，以支持动态计算图，并便于与现代深度学习工作流集成。
• 提供核心 MBRL 组件的模块化抽象：动力学模型、规划器、奖励函数与策略优化器，支持即插即用的实验配置。
• MBRL-Lib 实现了概率性集成模型用于动力学预测，采用基于前 k 个‘精英’模型的蒙特卡洛滚动预测，提升鲁棒性。
• 支持基于模型的规划（如 PETS 中的 CEM）以及基于模型的微调离策略强化学习智能体（如 MBPO 中的 SAC），利用模拟轨迹进行优化。
• 该库内置可视化与调试工具，包括损失追踪、轨迹绘制与评估流水线，支持标准化的基准测试。
• 所有实现均使用归一化观测值，并在完整数据集上每 250 个环境步长重新训练动力学模型，MBPO 使用验证集划分。

实验结果

研究问题

• RQ1 模块化、开源的库在多大程度上能够降低模型基于强化学习研究的复杂性并提升可复现性？
• RQ2 基于 PyTorch 的标准化 MBRL 算法实现（如 MBPO 和 PETS）在性能上能否与原始实现保持一致？
• RQ3 架构选择（如确定性与概率性集成）对 MBRL 中学习稳定性与样本效率有何影响？
• RQ4 统一的软件平台是否能够加速多样化环境中新 MBRL 算法的开发与比较？
• RQ5 超参数选择与数据预处理（如归一化、输入变换）对 MBRL 结果的可复现性有何影响？

主要发现

• 在五个 Mujoco 2.0 环境中，MBRL-Lib 实现的 MBPO 性能与原始实现相当，且在 Ant 环境中获得更高的回报。
• 在 HalfCheetah 环境中，MBRL-Lib 实现的 MBPO 表现低于原始实现，表明可能存在超参数或实现细节的差异。
• MBRL-Lib 中 PETS 的实现在 CartPole 和 InvertedPendulum 环境中表现稳定，但在 InvertedPendulum 中相比 MBPO 显示出更高的不稳定性。
• 在 CartPole 环境中，PETS 的确定性集成模型提升了学习速度，而概率性集成模型在其他环境中表现更优。
• MBRL-Lib 中 PETS 的实现未能复现原始性能，可能由于原始代码库在输入预处理与奖励函数设计上存在差异。
• 该库成功复现了文献中的关键结果，证明其在标准化、可扩展框架中用于基准测试与算法开发的实用性。