[论文解读] Blue River Controls: A toolkit for Reinforcement Learning Control Systems on Hardware

Kirill Polzounov, Ramitha Sundar+1 more|arXiv (Cornell University)|Jan 7, 2020

Reinforcement Learning in Robotics参考文献 13被引用 5

一句话总结

Blue River Controls 是一个工具包，允许通过类似 Gym 的接口直接在真实硬件上训练和部署强化学习（RL）智能体，支持 Quanser 的 Qube Servo2-USB 平台。它通过提供统一接口、硬件抽象和基准测试，弥合了仿真与真实世界部署之间的鸿沟，使 RL 与经典控制方法在物理系统上的性能可直接比较，且工程开销极低。

ABSTRACT

We provide a simple hardware wrapper around the Quanser's hardware-in-the-loop software development kit (HIL SDK) to allow for easy development of new Quanser hardware. To connect to the hardware we use a module written in Cython. The internal QuanserWrapper class handles most of the difficult aspects of interacting with hardware, including the timing (using a hardware timer), and ensuring the data sent to hardware is safe and correct, where safety corresponds to safe operating voltage and current for the specified hardware. Much of the recent success of Reinforcement learning (RL) has been made possible with training and testing tools like OpenAI Gym and Deepmind Control Suite. Unfortunately, tools for quickly testing and transferring high-frequency RL algorithms from simulation to real hardware environment remain mostly absent. We present Blue River Controls, a tool that allows to train and test reinforcement learning algorithms on real-world hardware. It features a simple interface based on OpenAI Gym, that works directly on both simulation and hardware. We use Quanser's Qube Servo2-USB platform, an underactuated rotary pendulum as an initial testing device. We also provide tools to simplify training RL algorithms on other hardware. Several baselines, from both classical controllers and pretrained RL agents are included to compare performance across tasks. Blue River Controls is available at this https URL: https://github.com/BlueRiverTech/quanser-openai-driver

研究动机与目标

• 解决缺乏将高频 RL 算法从仿真环境迁移到真实硬件的工具的问题。
• 通过统一接口实现在仿真环境和物理硬件之间无缝部署 RL 智能体。
• 提供基准基线——包括经典控制方法和预训练的 RL 智能体——用于在真实世界控制任务中进行性能比较。
• 通过硬件抽象层和实时控制包装器，实现与真实硬件的可靠、安全且低延迟的交互。
• 通过标准化接口支持扩展至其他 Quanser 硬件平台以及未来硬件的集成。

提出的方法

• 实现一个兼容 Gym 的接口，将仿真和真实硬件统一抽象为单一的环境 API。
• 使用 Cython 开发 Quanser 硬件包装器，以确保与 Qube Servo2-USB 平台之间的低延迟、实时通信。
• 集成硬件定时器和安全检查（如电压/电流限制），以确保 RL 训练期间的稳定和安全执行。
• 设计 Quanser 接口层，实现仿真与硬件之间状态初始化、状态观测（包括从编码器数据估计速度）和重置逻辑的同步。
• 使用稀疏和密集奖励函数，并进行归一化缩放（例如，r ≈ 0 到 1），以确保跨任务的性能评估一致性。
• 提供预训练的 PPO 智能体和经典控制基线（如 PID、摆起控制器），以实现直接的性能比较。

实验结果

研究问题

• RQ1 统一的类似 Gym 的接口是否能有效支持高频 RL 控制任务在仿真和真实硬件上的部署？
• RQ2 在 Qube 平台上，使用 PPO 训练的 RL 智能体在真实硬件上的表现与 PID 和摆起控制器等经典控制基线相比如何？
• RQ3 仿真器保真度和领域随机化在实现 RL 控制的仿真到真实环境迁移中起到什么作用？
• RQ4 硬件抽象层在多大程度上减少了在物理系统上部署 RL 智能体的工程负担？
• RQ5 安全机制和实时时间约束如何影响 RL 智能体在真实硬件上的可靠性和性能？

主要发现

• Blue River Controls 工具包成功实现了在真实硬件上使用单一、一致的接口完成端到端的 RL 训练与部署，覆盖仿真和物理系统。
• 该工具包支持 250 Hz 的实时运行，硬件抽象确保通过电压和电流监控实现安全稳定的执行。
• 性能基准测试表明，PPO 智能体在 Qube Balance 和 Qube Swing-Up 等任务上可实现接近最优的性能，仿真中最大 episode 奖励接近 1.0，硬件上也表现出稳定性能。
• 经典控制基线（如摆起控制器和 PID 控制器）作为强性能参考，表明 RL 可在复杂任务上匹配甚至超越其表现。
• 通过硬件抽象层和状态估计（如从编码器数据估计速度），实现了仿真与真实硬件之间的一致状态观测，减少了领域差距问题。
• 该工具包的模块化设计使其可轻松扩展至其他 Quanser 硬件平台，如无人机、起重机和主动悬架系统。