[论文解读] DeXtreme: Transfer of Agile In-hand Manipulation from Simulation to Reality

Ankur Handa, Arthur Allshire+12 more|arXiv (Cornell University)|Oct 25, 2022

Robot Manipulation and Learning被引用 5

一句话总结

本文提出 DeXtreme，一种基于视觉的强化学习系统，仅使用 RGB 相机和仿真到现实的迁移技术，便在低成本 Allegro 机械手上实现了敏捷的抓持操作。该系统在物体重定向任务中达到最先进性能——与具备特权运动捕捉基线相当——仅使用 8 块 A40 GPU 和 Isaac Gym 中完全可微分、领域随机化的仿真流水线。

ABSTRACT

Recent work has demonstrated the ability of deep reinforcement learning (RL) algorithms to learn complex robotic behaviours in simulation, including in the domain of multi-fingered manipulation. However, such models can be challenging to transfer to the real world due to the gap between simulation and reality. In this paper, we present our techniques to train a) a policy that can perform robust dexterous manipulation on an anthropomorphic robot hand and b) a robust pose estimator suitable for providing reliable real-time information on the state of the object being manipulated. Our policies are trained to adapt to a wide range of conditions in simulation. Consequently, our vision-based policies significantly outperform the best vision policies in the literature on the same reorientation task and are competitive with policies that are given privileged state information via motion capture systems. Our work reaffirms the possibilities of sim-to-real transfer for dexterous manipulation in diverse kinds of hardware and simulator setups, and in our case, with the Allegro Hand and Isaac Gym GPU-based simulation. Furthermore, it opens up possibilities for researchers to achieve such results with commonly-available, affordable robot hands and cameras. Videos of the resulting policy and supplementary information, including experiments and demos, can be found at https://dextreme.org/

研究动机与目标

• 解决将精细操作策略从仿真迁移到真实世界机器人手时，对硬件和基础设施依赖最小化的挑战。
• 在无需标记追踪或专用传感器的情况下，实现在经济实惠、市售机器人手上的高性能视觉驱动抓持操作。
• 与以往依赖大规模 CPU 集群和昂贵硬件的仿真到现实方法相比，降低计算成本和复杂度。
• 开发一种鲁棒的端到端系统，通过领域随机化和课程学习，在多样化物理条件和物体姿态下实现良好泛化。
• 通过发布代码和训练流水线，提升可复现性，使更广泛的科研群体能够使用先进的精细操作技术。

提出的方法

• 在 GPU 加速的 Isaac Gym 仿真环境中，使用领域随机化训练基于视觉的策略，采用深度强化学习（PPO）方法。
• 应用自动领域随机化（ADR）技术，随机化物理参数（摩擦、阻尼、刚度）和非物理因素（纹理、光照、相机噪声），以提升仿真到现实的泛化能力。
• 开发一种基于三台市售相机采集的 RGB 图像的可微分、仿真训练的 6D 物体位姿估计算法，实现实时状态估计，无需标记。
• 采用基于课程的训练策略，结合渐进式随机化，以稳定学习过程并提升对现实世界变化的鲁棒性。
• 实现一个实时推理流水线，在真实机器人上同时运行策略和位姿估计算法，通过优化推理和相机-机器人标定实现高效运行。
• 通过将真实世界状态渲染回仿真环境，实现从真实到仿真数据增强，以优化位姿估计算法并缩小仿真到现实的差距。

Figure 1 : The hardware setup used in this work, unlike [ 1 ] , is not housed in a cage, and our system is robust enough to perform the task in an open laboratory environment. The background in the image is alpha-blended for visibility.

实验结果

研究问题

• RQ1 在无特权状态信息的前提下，仅在仿真中训练的基于视觉的策略是否能在低成本机器人手上实现高性能的抓持操作？
• RQ2 自动领域随机化（ADR）在非特权、基于视觉的设置下，对缩小精细操作的仿真到现实差距方面有多有效？
• RQ3 完全可微分、仿真训练的位姿估计算法在处理严重遮挡和真实世界视觉变化时，其性能和鲁棒性如何？
• RQ4 仅使用 8 块 A40 GPU 和市售硬件的系统，是否能超越以往需要 400 台 CPU 服务器和昂贵运动捕捉系统的先进方法？
• RQ5 领域随机化、课程学习与从真实到仿真数据增强的结合，如何提升策略的泛化能力与真实世界成功率？

主要发现

• 基于视觉的策略在物体重定向任务中实现了 92% 的真实世界成功率，优于文献中报道的最佳视觉方法。
• 该系统的性能与使用运动捕捉的标记方法相当，证明了仅依赖视觉的系统无需特权状态信息即可实现类似结果。
• 位姿估计算法在严重遮挡和光照多变条件下仍保持高精度，能在多种真实世界条件下稳健泛化。
• 训练仅需 8 块 NVIDIA A40 GPU，相比 OpenAI 使用的 400 台 CPU 服务器和 32 块 V100 的计算规模降低了 10 倍，显著降低了进入门槛。
• 采用 ADR 和渐进式随机化带来了稳定的训练过程，并提升了仿真到现实的迁移效果，最佳策略在真实世界测试中达到 92% 的成功率。
• 系统对硬件缺陷（如拇指故障）表现出鲁棒性，并能泛化到多种物体姿态和初始位姿。

(a) Policy training.