[论文解读] 3D Simulation for Robot Arm Control with Deep Q-Learning

Stephen James, Edward Johns|arXiv (Cornell University)|Sep 13, 2016

Reinforcement Learning in Robotics参考文献 20被引用 68

一句话总结

本文提出在3D仿真环境中使用深度Q-learning训练7自由度机械臂控制器，其中智能体仅通过视觉输入和结构化奖励函数学习抓取立方体。关键贡献在于成功将仿真策略直接迁移至真实机器人，证明了无需现实世界微调的端到端视觉控制的可行性。

ABSTRACT

Recent trends in robot arm control have seen a shift towards end-to-end solutions, using deep reinforcement learning to learn a controller directly from raw sensor data, rather than relying on a hand-crafted, modular pipeline. However, the high dimensionality of the state space often means that it is impractical to generate sufficient training data with real-world experiments. As an alternative solution, we propose to learn a robot controller in simulation, with the potential of then transferring this to a real robot. Building upon the recent success of deep Q-networks, we present an approach which uses 3D simulations to train a 7-DOF robotic arm in a control task without any prior knowledge. The controller accepts images of the environment as its only input, and outputs motor actions for the task of locating and grasping a cube, over a range of initial configurations. To encourage efficient learning, a structured reward function is designed with intermediate rewards. We also present preliminary results in direct transfer of policies over to a real robot, without any further training.

研究动机与目标

• 开发一种基于原始视觉观测的端到端强化学习方法，用于机器人手臂控制，避免使用手工设计的模块化流程。
• 通过利用可扩展的3D仿真进行训练，解决机器人控制中高维状态与动作空间的挑战。
• 评估从仿真到真实世界机器人硬件直接策略迁移的可行性，无需进一步现实世界微调。
• 设计具有中间奖励的结构化奖励函数，以加速复杂操作任务中的学习效率。

提出的方法

• 该方法采用深度Q网络（DQN），将3D仿真中的原始RGB图像映射为7自由度机械臂的运动动作。
• 智能体使用提供中间奖励的奖励函数进行训练，包括靠近立方体、抓取立方体以及将其从桌上抬起。
• 训练采用经验回放和目标网络以稳定学习，遵循标准DQN算法，包含经验回放和目标网络更新。
• 仿真环境渲染出机器人和立方体的真实感图像，通过随机化初始关节角度和立方体位置以提升泛化能力。
• 策略在未进行额外现实世界训练的情况下直接部署于真实机器人，探索率固定为ε = 0.1。
• 对比训练网络在仿真和真实世界输入下的特征图激活，以评估视觉相似性与迁移潜力。

实验结果

研究问题

• RQ1 深度Q网络是否能完全在仿真环境中学习到基于视觉的机器人手臂控制策略，而无需先验知识或手工设计的模块？
• RQ2 具有中间奖励的结构化奖励函数是否显著提升3D机器人操作任务中的学习效率？
• RQ3 在未进行额外现实世界微调的情况下，能否成功将仿真中训练的策略迁移到真实世界机器人？
• RQ4 训练网络中的特征图激活在仿真与真实世界视觉输入之间如何比较，从而体现迁移能力？

主要发现

• 当使用随机初始条件（环境B）训练时，成功率从2%提升至52%，相较于固定初始条件（环境A），证明了泛化能力的重要性。
• 在真实机器人上50次测试中，直接从仿真迁移策略的成功率达到52%，表明零样本迁移部分成功。
• 策略在真实世界中成功将夹爪移向立方体，但无法可靠地闭合夹爪，表明二元动作迁移存在挑战。
• 当立方体已位于夹爪中时，智能体成功完成任务并将其抬起，证实策略能够执行任务的最终阶段。
• 视觉对比显示，仿真与真实世界输入的特征图激活具有高度相似性，支持视觉域迁移的可行性。
• 学习到的价值函数随时间发生有意义的变化，Q值在智能体接近并抓取立方体时稳步上升，证实了有效策略学习。