[论文解读] Data-efficient Deep Reinforcement Learning for Dexterous Manipulation

Ivaylo Popov, Nicolas Heess+8 more|arXiv (Cornell University)|Apr 10, 2017

Reinforcement Learning in Robotics参考文献 25被引用 117

一句话总结

本文通过数据高效、可扩展的方法扩展 DDPG——分布式异步学习、可变回放步数，以及奖励/塑形策略——以在仿真中实现端到端的灵巧操控，使用不到 10 million 环境转移完成完整乐高堆叠任务，并有望在真实机器人上实现。

ABSTRACT

Deep learning and reinforcement learning methods have recently been used to solve a variety of problems in continuous control domains. An obvious application of these techniques is dexterous manipulation tasks in robotics which are difficult to solve using traditional control theory or hand-engineered approaches. One example of such a task is to grasp an object and precisely stack it on another. Solving this difficult and practically relevant problem in the real world is an important long-term goal for the field of robotics. Here we take a step towards this goal by examining the problem in simulation and providing models and techniques aimed at solving it. We introduce two extensions to the Deep Deterministic Policy Gradient algorithm (DDPG), a model-free Q-learning based method, which make it significantly more data-efficient and scalable. Our results show that by making extensive use of off-policy data and replay, it is possible to find control policies that robustly grasp objects and stack them. Further, our results hint that it may soon be feasible to train successful stacking policies by collecting interactions on real robots.

研究动机与目标

• 在仿真中使用通用无模型强化学习算法展示灵巧操控的端到端学习。
• 通过回放调度和分布式训练提高数据效率和可扩展性。
• 提供关于奖励塑形和类似课程的初始状态分布以解决复杂组合任务的实用指南。

提出的方法

• 在 Deep Deterministic Policy Gradient (DDPG) 上扩展两项数据高效改进：独立的网络更新调度（回放步数）和跨多工作者的分布式异步实现（ADPG-R）。
• 引入异步 DPG 变体（ADPG-R），在工作者之间共享参数的基础上并行化数据收集和网络更新。
• 评估每个环境步中微批回放更新数量的变化对学习速度和数据效率的影响。
• 提出两种将先验知识引入学习的一般策略：（1）用于组合任务的复合塑形奖励，以及（2）从具有指导性的起始状态学习以创建类似课程的学习信号。
• 在 MuJoCo 的实验设置中，使用一个 9-DoF 的臂学习抓取并堆叠乐高砖块，包含观测空间、动作空间和评估协议的详细信息。

实验结果

研究问题

• RQ1 本文是否能够通过数据高效的、离线强化学习在仿真中端到端解决复杂的灵巧操控任务？
• RQ2 回放更新调度和分布式训练如何影响学习策略的数据和实际时间效率？
• RQ3 与稀疏奖励相比，复合塑形奖励和指导性起始状态是否能改善多子任务（到达、抓取、堆叠）的学习可行性？
• RQ4 在灵巧任务中，将数据收集和学习扩展到多台机器人有何实际指南？

主要发现

• 从零开始在少于 10 million 环境转移内实现完整堆叠任务在仿真中是可行的（在某些设置下，16 个机器人约 10 小时内）。
• 每个环境步进行多于一个回放更新可显著提高数据效率，在 20 万–30 万次交互后即可完成堆叠（某些设置）。
• 具有多个工作者的异步 ADPG-R 在保持数据效率的同时可显著缩短墙时（wall-clock time），加速比因任务而异。
• 完整堆叠任务需要复合塑形奖励；仅稀疏奖励会失败，加入中间奖励（抓取、到达）会加速学习，且要实现成功需完整的组合奖励。
• 从具有指导性的起始状态学习（例如更接近子目标或沿解轨迹的起始状态）进一步改善探索，并可在多种初始条件下实现策略学习。