[论文解读] gym-gazebo2, a toolkit for reinforcement learning using ROS 2 and Gazebo

Nestor Gonzalez Lopez, Yue Leire Erro Nuin+5 more|arXiv (Cornell University)|Mar 14, 2019

Reinforcement Learning in Robotics参考文献 21被引用 25

一句话总结

该论文介绍了 gym-gazebo2，一个基于 ROS 2 和 Gazebo 的强化学习工具包，扩展了 OpenAI Gym 以支持机器人应用，能够以毫米级精度训练模块化机械臂（如 MARA）。该工具包成功实现了使用 PPO 的策略迁移，在涉及位置与姿态控制及避碰的复杂任务中实现了稳定收敛。

ABSTRACT

This paper presents an upgraded, real world application oriented version of gym-gazebo, the Robot Operating System (ROS) and Gazebo based Reinforcement Learning (RL) toolkit, which complies with OpenAI Gym. The content discusses the new ROS 2 based software architecture and summarizes the results obtained using Proximal Policy Optimization (PPO). Ultimately, the output of this work presents a benchmarking system for robotics that allows different techniques and algorithms to be compared using the same virtual conditions. We have evaluated environments with different levels of complexity of the Modular Articulated Robotic Arm (MARA), reaching accuracies in the millimeter scale. The converged results show the feasibility and usefulness of the gym-gazebo 2 toolkit, its potential and applicability in industrial use cases, using modular robots.

研究动机与目标

• 开发一个可扩展、可投入生产的强化学习框架，用于工业机器人，基于 ROS 2 和 Gazebo。
• 克服原始 gym-gazebo 的局限性，通过重新设计软件架构以提升可用性与可维护性。
• 在一致的虚拟条件下实现对模块化关节式机械臂的强化学习算法基准测试。
• 通过高保真仿真与领域随机化潜力，最小化现实差距，以支持现实世界中的可迁移性。
• 通过支持多种夹爪、传感器和控制模式，促进社区驱动的开发与扩展。

提出的方法

• 该工具包集成 ROS 2 原生 Python 客户端库，以改善启动与初始化工作流。
• 它与原始 gym-gazebo 分支解耦，成为一个独立库，通过无结构依赖的方式在 OpenAI Gym 中注册环境。
• 系统采用模块化、面向特定机器人的架构，简化了新机器人平台的集成。
• 采用近端策略优化（PPO），支持可配置的超参数，包括学习率衰减和裁剪范围。
• 通过位置与姿态误差的加权组合实施奖励塑造，通过调节 beta 超参数以平衡任务目标。
• 框架支持领域随机化与 RNN 集成，以增强对环境变化的鲁棒性。

实验结果

研究问题

• RQ1 能否构建一个原生支持 ROS 2 的强化学习工具包，实现在仿真中对模块化机械臂的高精度、可重复训练？
• RQ2 在位置与姿态控制任务中，PPO 的性能如何随不同奖励塑造配置而变化？
• RQ3 在何种程度上，仿真中的策略可以实现最小微调的现实世界机器人系统迁移？
• RQ4 超参数选择（特别是奖励函数中的 beta）对收敛速度与最终精度有何影响？
• RQ5 如何设计该工具包以支持多样化机器人组件（如夹爪与力/扭矩传感器）的可扩展性？

主要发现

• 在 MARAOrient 环境中，x 轴平均距离误差为 3.03±1.89 mm，y 轴为 8.95±2.54 mm，z 轴为 5.85±4.38 mm；姿态误差分别为 0.71±0.29°、1.61±1.25° 和 7.52±2.48°。
• 在 MARACollisionOrient 环境中，x 轴平均距离误差为 7.43±3.07 mm，y 轴为 4.69±2.37 mm，z 轴为 5.18±3.44 mm；姿态误差分别为 2.62±3.80°、4.06±2.20° 和 6.43±6.81°。
• 在 MARAOrient 任务中使用 beta = 1.1 改进了策略稳定性与收敛性，实现了位置与姿态奖励的平衡。
• MARACollisionOrient 任务中需使用 1024 步/episode（而非 2048 步）才能实现收敛，表明对轨迹长度敏感。
• 该工具包展示了稳定训练与策略迁移的可行性，熵与奖励曲线在各次实验中均表现出一致的学习动态。
• 该框架支持未来扩展，通过领域随机化与基于 RNN 的策略，提升在动态或不确定环境中的鲁棒性。