[论文解读] Learning to Grasp the Ungraspable with Emergent Extrinsic Dexterity

Wenxuan Zhou, David Held|arXiv (Cornell University)|Nov 2, 2022

Robot Manipulation and Learning被引用 8

一句话总结

本文提出了一种基于强化学习（RL）的系统，通过利用环境的外在灵巧性（即利用墙壁、桌面等环境要素重新定位物体），使简单的并联夹爪实现了'遮挡抓取'。该策略在模拟环境中通过自动领域随机化进行训练，在无需任务特定的先验行为或接触奖励项的情况下，于物理机器人上实现了78%的成功率，展示了零样本的模拟到现实的迁移能力以及强大的泛化性能。

ABSTRACT

A simple gripper can solve more complex manipulation tasks if it can utilize the external environment such as pushing the object against the table or a vertical wall, known as "Extrinsic Dexterity." Previous work in extrinsic dexterity usually has careful assumptions about contacts which impose restrictions on robot design, robot motions, and the variations of the physical parameters. In this work, we develop a system based on reinforcement learning (RL) to address these limitations. We study the task of "Occluded Grasping" which aims to grasp the object in configurations that are initially occluded; the robot needs to move the object into a configuration from which these grasps can be achieved. We present a system with model-free RL that successfully achieves this task using a simple gripper with extrinsic dexterity. The policy learns emergent behaviors of pushing the object against the wall to rotate and then grasp it without additional reward terms on extrinsic dexterity. We discuss important components of the system including the design of the RL problem, multi-grasp training and selection, and policy generalization with automatic curriculum. Most importantly, the policy trained in simulation is zero-shot transferred to a physical robot. It demonstrates dynamic and contact-rich motions with a simple gripper that generalizes across objects with various size, density, surface friction, and shape with a 78% success rate. Videos can be found at https://sites.google.com/view/grasp-ungraspable/.

研究动机与目标

• 通过利用环境交互，使简单的夹爪能够执行复杂操作任务，例如遮挡抓取。
• 克服先前外在灵巧性方法的局限性，这些方法依赖于手工设计的运动轨迹、接触假设或特定夹爪结构。
• 使用无模型强化学习开发一种可泛化的、富含接触交互的策略，以学习涌现行为，而无需为外在灵巧性显式设计奖励函数。
• 在真实机器人上实现富含接触交互、动态的复杂操作任务的稳健零样本模拟到现实迁移。
• 在不同尺寸、形状、密度和表面摩擦系数的物体上实现泛化。

提出的方法

• 在模拟环境中训练一种无模型深度强化学习策略，以使用简单的并联夹爪完成遮挡抓取任务。
• 奖励函数优化抓取前的运动与抓取动作，且不将规划与控制阶段分离。
• 采用多抓取训练课程和推理阶段的抓取选择程序，提升策略的鲁棒性与成功率。
• 应用自动领域随机化（ADR）处理物理参数（如质量、摩擦系数），以增强对现实世界变化和接触动力学的鲁棒性。
• 采用柔性的低层控制器，实现与环境的稳定交互，支持涌现的外在灵巧性行为。
• 该策略以零样本方式直接迁移到真实机器人上，无需微调，完全依赖领域随机化实现模拟到现实的泛化。

实验结果

研究问题

• RQ1 在不使用任务特定先验行为或接触假设的前提下，简单的夹爪能否通过外在灵巧性实现遮挡抓取？
• RQ2 无模型强化学习在学习如墙面推挤和物体旋转等涌现的、富含接触交互的操作行为方面有多有效？
• RQ3 在盒状物体上训练的策略，在真实世界中对新颖的、分布外的形状（如瓶子、容器、玩具袋）的泛化能力如何？
• RQ4 自动领域随机化在实现富含接触交互策略的零样本模拟到现实迁移中起到了什么作用？
• RQ5 单一策略能否在不为外在灵巧性显式设计奖励的情况下，根据状态自动切换不同策略（如掉落与站立）？

主要发现

• 采用自动领域随机化的策略在真实机器人上实现了78%的成功率，而未使用ADR的策略仅达到33%，证明了ADR在提升鲁棒性方面起着关键作用。
• 该策略成功执行了动态、富含接触交互的行为，例如将物体推至墙边以重新定向以便抓取，且未为外在灵巧性设计任何显式奖励。
• 该策略泛化到了训练分布之外的物体，包括瓶子、容器和玩具袋，对瓶子实现了8/10的成功率，对倒置初始姿态的容器实现了10/10的成功率。
• 该策略展现出涌现行为——根据状态自动在掉落与站立策略间切换，而未在训练中显式学习任一策略。
• 系统实现了零样本模拟到现实迁移，同一策略在未微调的情况下部署于真实机器人，验证了领域随机化的有效性。
• 在质量（128g至345g）、形状和表面摩擦系数各异的物体上，成功率保持在78%的高水平，证实了其强大的泛化能力。