[论文解读] Deep Reinforcement Learning for Robotic Manipulation with Asynchronous Off-Policy Updates

Shixiang Gu, Ethan Holly+2 more|arXiv (Cornell University)|Oct 3, 2016

Reinforcement Learning in Robotics被引用 40

一句话总结

本文提出了一种异步的离策略深度强化学习方法，采用归一化优势函数（NAF）算法的新型变体，实现了在复杂3D机器人操作任务中对深度神经网络策略的高效采样训练。该方法仅用时不到3小时，即在多台机器人上从零开始实现了真实世界中的开门操作，证明了直接深度强化学习在物理系统上无需示范或手工设计表征即可实际应用。

ABSTRACT

Reinforcement learning holds the promise of enabling autonomous robots to learn large repertoires of behavioral skills with minimal human intervention. However, robotic applications of reinforcement learning often compromise the autonomy of the learning process in favor of achieving training times that are practical for real physical systems. This typically involves introducing hand-engineered policy representations and human-supplied demonstrations. Deep reinforcement learning alleviates this limitation by training general-purpose neural network policies, but applications of direct deep reinforcement learning algorithms have so far been restricted to simulated settings and relatively simple tasks, due to their apparent high sample complexity. In this paper, we demonstrate that a recent deep reinforcement learning algorithm based on off-policy training of deep Q-functions can scale to complex 3D manipulation tasks and can learn deep neural network policies efficiently enough to train on real physical robots. We demonstrate that the training times can be further reduced by parallelizing the algorithm across multiple robots which pool their policy updates asynchronously. Our experimental evaluation shows that our method can learn a variety of 3D manipulation skills in simulation and a complex door opening skill on real robots without any prior demonstrations or manually designed representations.

研究动机与目标

• 实现复杂3D机器人操作在真实物理机器人上的直接深度强化学习，无需人类示范或任务特定的策略表征。
• 解决传统深度强化学习在真实机器人系统中通常存在的高样本复杂度问题。
• 通过在多个机器人平台上的异步并行学习，显著缩短复杂操作任务的训练时间。
• 验证深度神经网络策略相较于简单线性表征在复杂操作任务中的有效性。

提出的方法

• 提出归一化优势函数（NAF）算法的异步变体，允许多台机器人独立且异步地更新共享策略。
• 采用离策略深度Q函数训练与经验回放，提升数据效率并稳定学习过程。
• 使用通用型深度神经网络策略，无需针对任务调整网络结构或人工设计特征。
• 引入安全机制以约束训练期间的探索行为，降低真实世界部署中的风险。
• 将多台机器人收集的经验集中存储于一个中央经验回放缓冲区，通过多样化且并行的经验收集实现更快收敛。
• 使用密集的、形状化的奖励函数，提供连续反馈（如目标距离、门的位姿误差），以引导学习，避免仅使用二元奖励。

实验结果

研究问题

• RQ1 能否将NAF等离策略深度强化学习算法扩展至具有高维动作和观测空间的真实机器人操作任务？
• RQ2 异步、多机器人并行训练是否能显著降低复杂3D操作任务的样本复杂度与训练时间？
• RQ3 深度神经网络策略是否能从零开始学习复杂技能（如开门）而无需人类示范或任务特定表征？
• RQ4 在复杂操作任务中，深度神经网络策略与简单线性策略相比，在样本效率和最终性能方面表现如何？
• RQ5 来自多台机器人的经验多样性对策略泛化能力和学习速度有何影响？

主要发现

• 所提出的异步NAF算法在使用两台并行工作节点的情况下，仅用约2.5小时即在真实机器人上成功训练出开门策略，且在连续20次试验中达到100%成功率。
• 仅使用一台机器人时，同一任务需超过4小时才能达到100%成功率，证明并行化带来了显著的速度提升。
• 该方法成功在仿真环境和真实机器人上实现了无需任何人类示范或手工设计策略表征的复杂3D操作任务（如开门和抓取放置）。
• 与简单线性表征相比，深度神经网络策略在复杂操作任务中展现出更高的样本效率和最终任务性能。
• 学习曲线呈现出分阶段的进展：初始探索、偶尔接触把手，最终发展出稳健且一致的策略。
• 该方法表明，当结合离策略算法、高效的经验重用与并行化时，高样本复杂度并非真实世界深度强化学习的根本障碍。