[论文解读] Lyceum: An efficient and scalable ecosystem for robot learning

Colin Summers, Kendall Lowrey+3 more|arXiv (Cornell University)|Jan 21, 2020

Reinforcement Learning in Robotics参考文献 15被引用 4

一句话总结

Lyceum 是一个基于 Julia 和 MuJoCo 构建的高性能计算生态系统，专为机器人学习而设计，通过结合高层抽象与零成本性能，使训练速度比 Gym 和 dm-control 快 5–30 倍。它通过高效的内存管理、原地操作和原生并行性，加速强化学习与实时模型预测控制。

ABSTRACT

We introduce Lyceum, a high-performance computational ecosystem for robot learning. Lyceum is built on top of the Julia programming language and the MuJoCo physics simulator, combining the ease-of-use of a high-level programming language with the performance of native C. In addition, Lyceum has a straightforward API to support parallel computation across multiple cores and machines. Overall, depending on the complexity of the environment, Lyceum is 5-30x faster compared to other popular abstractions like OpenAI's Gym and DeepMind's dm-control. This substantially reduces training time for various reinforcement learning algorithms; and is also fast enough to support real-time model predictive control through MuJoCo. The code, tutorials, and demonstration videos can be found at: www.lyceum.ml.

研究动机与目标

• 解决由 Gym 和 dm-control 等基于 Python 的框架导致的机器人学习计算瓶颈问题。
• 通过减少实验周转时间，实现深度强化学习策略的更快训练。
• 在物理仿真器中支持实时模型预测控制（MPC），因为现有框架受性能限制而无法满足该需求。
• 提供一个高层级、可扩展的生态系统，通过 Julia 的零成本抽象保持 C 级性能。
• 使先进机器人控制算法对没有大规模云计算预算的实验室也易于使用。

提出的方法

• 利用 Julia 的性能和元编程能力，通过零成本抽象封装 MuJoCo，实现 C 级速度的同时保留高层级语法。
• 引入灵活的 AbstractEnvironment 接口，支持任意状态访问、原地操作以及可选的评估指标，用于控制器基准测试。
• 使用 MuJoCo.jl 提供对 MuJoCo 2.0 的低层内存映射接口，支持直接字段访问（例如 d.qpos[:, :arm]）。
• 通过 LyceumMuJoCo.jl 构建高层级环境抽象，类似于 Gym 和 dm-control，但函数调用经过性能优化。
• 使用 LyceumMuJoCoViz.jl 实现轨迹和控制器的交互式可视化，支持实时测试鲁棒性。
• 通过 LyceumAI.jl 与 Flux.jl 和 Zygote.jl 集成，实现神经网络训练和自动微分，高效支持 MPPI 和自然策略梯度的实现。

实验结果

研究问题

• RQ1 像 Julia 这样的高层级编程语言是否能在不牺牲可用性的情况下，在机器人仿真中实现 C 级性能？
• RQ2 与 Gym 和 dm-control 等现有框架相比，新生态系统在多大程度上能减少深度强化学习的训练时间？
• RQ3 在严格的时序约束下，该生态系统是否能够支持带有详细物理仿真的实时模型预测控制？
• RQ4 原地操作和零成本抽象在最小化内存分配和垃圾回收开销方面的有效性如何？
• RQ5 该生态系统是否能够支持 MPPI 和自然策略梯度等随机控制算法的可扩展、并行化 rollout？

主要发现

• Lyceum 在各种环境中均实现了比 Gym 和 dm-control 快 5–30 倍的性能提升，显著缩短了强化学习算法的训练时间。
• 该生态系统通过 MuJoCo 支持实时模型预测控制，实现了带反馈的闭环控制，这是现有基于 Python 的框架无法实现的。
• 原地操作（例如使用预分配缓冲区的 getstate!）消除了不必要的内存分配，使系统适用于严格的实时控制环路。
• 抽象层提供了对仿真器状态的完整访问，包括非标准状态组件，这对基于模型的控制和运动规划至关重要。
• Julia 的并行机制与自动微分的集成，实现了 MPPI 和自然策略梯度的高效多线程 rollout，加速了收敛。
• 该框架具有可扩展性，通过其清晰的接口抽象，支持除 MuJoCo 外的其他仿真器，如 RigidBodySim.jl 或 DART。