[论文解读] Evaluation of Deep Reinforcement Learning Methods for Modular Robots

Risto Kojcev, Nora Etxezarreta+2 more|arXiv (Cornell University)|Feb 7, 2018

Reinforcement Learning in Robotics参考文献 1被引用 4

一句话总结

本文提出了一种基于ROS和Gazebo的新型框架，用于模块化机器人的端到端深度强化学习（DRL），支持从关节状态直接训练，并实现无缝的仿真到现实的迁移。结果表明，将仿真时间加速至1ms可显著提升策略收敛速度与真实世界性能，基于PPO的智能体在3DoF和4DoF Scara机器人上均实现了低于25mm的末端执行器误差，即使在结构复杂性增加的情况下亦然。

ABSTRACT

We propose a novel framework for Deep Reinforcement Learning (DRL) in modular robotics using traditional robotic tools that extend state-of-the-art DRL implementations and provide an end-to-end approach which trains a robot directly from joint states. Moreover, we present a novel technique to transfer these DLR methods into the real robot, aiming to close the simulation-reality gap. We demonstrate the robustness of the performance of state-of-the-art DRL methods for continuous action spaces in modular robots, with an empirical study both in simulation and in the real robot where we also evaluate how accelerating the simulation time affects the robot's performance. Our results show that extending the modular robot from 3 degrees-of-freedom (DoF), to 4 DoF, does not affect the robot's learning. This paves the way towards training modular robots using DRL techniques.

研究动机与目标

• 通过集成ROS和Gazebo等传统机器人工具，解决使用DRL训练模块化机器人时的可扩展性与迁移挑战。
• 通过一种新颖的迁移技术，直接将训练好的策略映射到真实硬件上，以弥合仿真与现实之间的差距。
• 评估仿真速度对具有不同自由度的模块化机器人DRL策略性能的影响。
• 利用SOTA DRL算法（如PPO）实现从关节状态到电机指令的端到端训练。
• 证明DRL方法在将模块化机器人从3DoF扩展到4DoF配置时的鲁棒性。

提出的方法

• 该框架使用Gazebo进行物理仿真，使用ROS进行机器人控制，实现了DRL智能体与仿真模块化机器人之间的实时交互。
• 通过为机器人控制量身定制的环境扩展OpenAI Gym，支持关节状态输入和动作空间输出。
• 采用近端策略优化（PPO）作为核心DRL算法，基于截断的概率比率进行策略更新，以确保训练稳定性。
• 奖励函数定义为末端执行器位置与目标之间的归一化均方根误差（RMSE），并通过密集奖励塑造促进收敛。
• 通过改变轨迹执行时间（1秒至1毫秒）来研究仿真速度对学习效率和现实世界迁移的影响。
• 通过虚拟驱动器和ROS控制节点，将训练好的策略直接部署到真实的3DoF和4DoF Scara机器人上。

实验结果

研究问题

• RQ1 加速仿真时间是否能改善模块化机器人控制中DRL策略的收敛性和性能？
• RQ2 在仿真中训练的基于PPO的DRL智能体是否能无需微调直接泛化到真实世界的模块化机器人？
• RQ3 将机器人的自由度从3DoF增加到4DoF，对学习性能和策略泛化能力有何影响？
• RQ4 训练可有效迁移到真实硬件的DRL策略的最优仿真速度是多少？
• RQ5 使用传统机器人工具（ROS、Gazebo）是否能够实现模块化机器人配置的可扩展且可重用的DRL训练？

主要发现

• 在3DoF机器人上，使用1ms轨迹执行时间训练的PPO1和PPO2均取得最佳性能，平均欧氏距离目标为13.09±0.06 mm。
• 在4DoF机器人上，PPO1在10ms执行时间下误差最低（20.33±0.23 mm），而PPO2在1ms下表现最佳（58.19±0.03 mm）。
• 在1ms仿真速度下训练的PPO1和PPO2比在1s下收敛更快且真实世界性能更优，表明加速仿真可提升样本效率。
• 4DoF机器人对仿真速度更为敏感，在PPO1中100ms时性能显著下降，PPO2在1s时亦然，表明时间缩放存在非单调效应。
• 尽管结构复杂性增加，从3DoF扩展到4DoF并未降低学习性能，表明DRL框架对结构变化具有鲁棒性。
• 该框架实现了训练策略到真实机器人的直接部署，仅需极少重新配置，验证了其端到端迁移能力。