[论文解读] Baconian: A Unified Open-source Framework for Model-Based Reinforcement Learning

Linsen Dong, Guanyu Gao+3 more|arXiv (Cornell University)|Apr 23, 2019

Reinforcement Learning in Robotics被引用 4

一句话总结

Baconian 是一个统一的开源框架，旨在通过提供模块化、可重用的组件来简化模型基于强化学习（MBRL）的研究，从而实现最先进的 MBRL 算法的实现与基准测试。它通过可配置的即插即用模块（支持环境、算法、训练控制流程和实验监控）减少实现开销，实现快速原型设计和最小代码配置下的可重现实验。

ABSTRACT

Model-Based Reinforcement Learning (MBRL) is one category of Reinforcement Learning (RL) algorithms which can improve sampling efficiency by modeling and approximating system dynamics. It has been widely adopted in the research of robotics, autonomous driving, etc. Despite its popularity, there still lacks some sophisticated and reusable open-source frameworks to facilitate MBRL research and experiments. To fill this gap, we develop a flexible and modularized framework, Baconian, which allows researchers to easily implement a MBRL testbed by customizing or building upon our provided modules and algorithms. Our framework can free users from re-implementing popular MBRL algorithms from scratch thus greatly save users' efforts on MBRL experiments.

研究动机与目标

• 解决模型基于强化学习（MBRL）研究中缺乏统一、可扩展的开源框架的问题。
• 通过提供可重用的模块化组件，减少实现、复现和基准测试 MBRL 算法所需的工作量。
• 同时支持模型基于和模型无关的强化学习算法，以增强灵活性并扩大适用范围。
• 通过即插即用的设计和最小代码配置，支持新 MBRL 算法的快速原型设计。
• 提供全面的实验工具，包括超参数管理、日志记录和可视化，以简化研究工作流。

提出的方法

• 设计一个模块化框架，包含三个核心组件：实验管理器、训练引擎和监控器，以解耦复杂依赖关系。
• 在训练引擎中实现控制流程模块，以抽象并编排训练过程，包括数据收集、策略与动态模型优化以及测试。
• 支持与 TensorFlow 的集成，用于神经网络的构建、训练和管理，以实现可扩展的模型学习。
• 提供可配置、可替换的模块，用于环境（如 OpenAI Gym、DeepMind Control Suite）、算法（如 ME-TRPO、iLQR、MPC、PPO）和探索策略。
• 集成用户友好的超参数管理机制，以简化实验之间的配置、加载和保存。
• 通过监控器和实验记录器组件实现标准化日志记录、状态跟踪和结果记录，以支持实验的可复现性和诊断。

实验结果

研究问题

• RQ1 统一的开源框架在多大程度上可以减轻从事模型基于强化学习的研究人员的实现负担？
• RQ2 模块化框架在单一、可扩展的系统中，能在多大程度上同时支持模型基于和模型无关的强化学习算法？
• RQ3 标准化的控制流程抽象是否能够简化复杂 MBRL 训练流水线的编排？
• RQ4 此类框架在仅需极少代码更改的情况下，能否有效支持新 MBRL 算法的快速原型设计与基准测试？
• RQ5 集成的实验管理（如日志记录、超参数处理）在提升 MBRL 研究的可复现性和效率方面发挥什么作用？

主要发现

• Baconian 通过提供预实现的、模块化的环境、算法和训练控制流程组件，成功减少了实现和复现 MBRL 算法所需的工作量。
• 该框架支持一系列最先进的 MBRL 算法，包括 Dyna、ME-TRPO、MPC、iLQR、DQN、DDPG 和 PPO，支持直接比较与基准测试。
• 集成的实验工具（如超参数管理与日志记录）显著降低了实验设置与配置的开销。
• 模块化架构允许用户自定义或直接使用内置模块，实现仅用极少代码的快速原型设计，如提供的逐步配置指南所示。
• 该框架具有可扩展性和可重用性，相关详细文档与 API 参考可在 https://baconian-public.readthedocs.io 获取，支持更广泛研究社区的采用。
• 代码库中包含初步的基准测试结果，证明该框架已具备立即用于研究与实验的准备就绪状态。