[论文解读] Extending the OpenAI Gym for robotics: a toolkit for reinforcement learning using ROS and Gazebo

Iker Zamora, Nestor Gonzalez Lopez+2 more|arXiv (Cornell University)|Aug 19, 2016

Reinforcement Learning in Robotics参考文献 2被引用 90

一句话总结

该论文通过集成ROS与Gazebo，将OpenAI Gym扩展为机器人强化学习的基准测试工具包，支持基于仿真的Q-Learning与Sarsa算法训练。在3,000轮训练后，Sarsa算法实现最高累计奖励3,500，Q-Learning算法实现2,500，表明Q-Learning学习速度更快，而Sarsa行为更平稳、更安全。

ABSTRACT

This paper presents an extension of the OpenAI Gym for robotics using the Robot Operating System (ROS) and the Gazebo simulator. The content discusses the software architecture proposed and the results obtained by using two Reinforcement Learning techniques: Q-Learning and Sarsa. Ultimately, the output of this work presents a benchmarking system for robotics that allows different techniques and algorithms to be compared using the same virtual conditions.

研究动机与目标

• 解决机器人强化学习缺乏标准化基准测试环境的问题。
• 将OpenAI Gym与ROS和Gazebo集成，实现在仿真中可扩展、安全且可重复的强化学习训练。
• 通过标准化的机器人环境，在相同虚拟条件下支持强化学习算法的对比。
• 支持将仿真中训练的策略迁移到真实机器人系统。
• 通过基于仿真的“心理预演”降低真实世界强化学习训练的成本、时间和风险。

提出的方法

• 扩展OpenAI Gym的API，利用ROS作为Gym与Gazebo之间通信的中间件，支持机器人环境。
• 使用Gazebo作为支持物理仿真的3D模拟器，可加载通过URDF和ROS包定义的机器人模型。
• 为三类机器人（Turtlebot、Erle-Rover、Erle-Copter）实现六个不同的环境，每种环境具有独特的传感器与世界配置。
• 应用Q-Learning与Sarsa算法，超参数设置为α=0.2、γ=0.9，ε=0.9并采用ε衰减策略，以学习导航策略。
• 将LIDAR传感器数据离散化为五个整数值，基于270°视场角，以降低状态空间复杂度。
• 采用奖励塑造策略：前进给予正向奖励，碰撞或靠近墙壁则给予负向奖励。

实验结果

研究问题

• RQ1 能否基于OpenAI Gym、ROS与Gazebo创建一个标准化的、基于仿真的机器人强化学习基准测试环境？
• RQ2 在模拟的机器人导航任务中，Q-Learning与Sarsa在学习速度、稳定性和最终性能方面有何差异？
• RQ3 基于简单LIDAR的观测空间在离散化环境中在多大程度上能够实现有效的导航策略学习？
• RQ4 在真实世界迁移场景中，作为在线策略算法的Sarsa是否相比Q-Learning展现出更安全、更具探索性的行为？
• RQ5 ROS与Gazebo的集成是否能够实现高效且可扩展的强化学习训练，从而减少对昂贵真实世界试验的依赖？

主要发现

• 经过3,000轮训练后，Sarsa实现更高的最大累计奖励（最高达3,500），优于Q-Learning（约2,500），表明在测试环境中Sarsa策略性能更优。
• Q-Learning表现出更快的学习收敛速度，平均奖励在第2,400轮时已超过700，而Sarsa仅在第2,600轮左右达到类似水平。
• Sarsa表现出更平稳、更保守的行为，避免在靠近墙壁时采取高风险动作；而Q-Learning则表现出更具攻击性与不稳定的动作。
• 在200轮区间内的平均奖励显示，Sarsa在第2,400–2,600轮窗口的平均值为698，而Q-Learning在相同窗口的平均值为776，表明两者均表现强劲。
• 尽管单轮奖励存在较高方差，但平均奖励曲线与表格数据均证实，两种算法均成功学习了避障策略。
• 使用离散化LIDAR输入（五个值）实现了有效学习，且计算开销适中，验证了该方法在实时应用中的可行性。