[论文解读] ROBEL: Robotics Benchmarks for Learning with Low-Cost Robots

Michael J. Ahn, Henry Zhu+5 more|arXiv (Cornell University)|Sep 25, 2019

Reinforcement Learning in Robotics参考文献 37被引用 11

一句话总结

ROBEL 引入了一款开源的低成本、模块化机器人平台——D'Claw（9-DOF 操控）和 D'Kitty（12-DOF 行走）——专为真实世界中的强化学习而设计。该平台支持可复现、硬件安全的训练，采用密集或稀疏目标函数及安全度量指标，已实现超过 14,000 小时的真实世界训练，并成功在独立构建的机器人之间实现策略跨站点复现。

ABSTRACT

ROBEL is an open-source platform of cost-effective robots designed for reinforcement learning in the real world. ROBEL introduces two robots, each aimed to accelerate reinforcement learning research in different task domains: D'Claw is a three-fingered hand robot that facilitates learning dexterous manipulation tasks, and D'Kitty is a four-legged robot that facilitates learning agile legged locomotion tasks. These low-cost, modular robots are easy to maintain and are robust enough to sustain on-hardware reinforcement learning from scratch with over 14000 training hours registered on them to date. To leverage this platform, we propose an extensible set of continuous control benchmark tasks for each robot. These tasks feature dense and sparse task objectives, and additionally introduce score metrics as hardware-safety. We provide benchmark scores on an initial set of tasks using a variety of learning-based methods. Furthermore, we show that these results can be replicated across copies of the robots located in different institutions. Code, documentation, design files, detailed assembly instructions, final policies, baseline details, task videos, and all supplementary materials required to reproduce the results are available at www.roboticsbenchmarks.org.

研究动机与目标

• 通过支持可扩展、低成本的真实世界训练，弥合模拟环境与真实世界强化学习之间的差距。
• 克服高成本工业机器人因脆弱性和维护需求过高而不适合试错学习的局限。
• 提供一种稳健、模块化且易于复现的硬件平台，以支持长期、设备端的强化学习实验。
• 引入硬件安全度量指标，鼓励学习方法尊重物理约束并降低损坏风险。
• 实现在无直接协作的前提下，跨机构在物理上完全相同的机器人之间复现强化学习策略。

提出的方法

• 设计并发布两款低成本、模块化机器人：D'Claw（三指机械手）用于灵巧操控，D'Kitty（四足）用于敏捷行走。
• 为每款机器人实现一系列连续控制基准任务，涵盖密集与稀疏奖励函数。
• 集成硬件安全目标，通过轨迹中位置、速度和扭矩违规情况的跟踪来量化风险。
• 提供仿真后端以实现快速策略原型设计，同时保持与真实世界动力学的高度一致。
• 通过开源代码、设计文件、组装说明、训练好的策略及基线结果，确保完全可复现性。
• 采用模块化硬件设计，便于更换故障部件（如电机），并支持长期实验。

实验结果

研究问题

• RQ1 低成本、模块化机器人能否在无显著退化的情况下持续进行超过 14,000 小时的真实世界强化学习？
• RQ2 在一台 ROBEL 机器人上训练的策略，能在远程位置物理上完全相同的另一台机器人上成功迁移并复现到何种程度？
• RQ3 硬件安全度量指标在识别和量化强化学习训练过程中危险行为方面的有效性如何？
• RQ4 多种基于学习的方法（如 SAC、DAPG、BC、NPG）在真实硬件上的标准化基准任务中是否能实现一致的性能表现？
• RQ5 与高成本工业系统相比，ROBEL 平台在多大程度上降低了真实世界强化学习研究的入门门槛？

主要发现

• ROBEL 机器人已累计完成超过 14,000 小时的真实世界训练，证明了其长期硬件耐用性与可靠性。
• 在一台 D'Claw 机器人上训练的策略成功复现于 60 英里外的物理上完全相同的另一台机器人上，证实了跨站点复现能力。
• 安全度量指标显示，即使在任务成功完成的策略中，关节位置、速度或扭矩违规仍普遍存在，凸显了显式安全约束的必要性。
• 系统仅出现轻微磨损，如松动的螺丝和偶尔的电机故障，均因模块化设计而易于修复。
• 采用 SAC、DAPG、BC 和 NPG 方法的基准测试结果，为未来不同学习算法的比较提供了标准化基线。
• 该平台实现了持续、可扩展且安全的真实世界强化学习实验，且对人工干预需求极低，显著降低了对高成本基础设施的依赖。