[论文解读] AnyGrasp: Robust and Efficient Grasp Perception in Spatial and Temporal Domains

Haoshu Fang, Chenxi Wang+7 more|arXiv (Cornell University)|Dec 16, 2022

Robot Manipulation and Learning被引用 4

一句话总结

AnyGrasp 提出了一种统一的、实时的抓取感知系统，用于机器人使用平行夹爪，通过利用真实世界数据的密集时空监督和质心意识，生成7自由度、时序平滑且鲁棒的抓取姿态。其在300种以上未见过的物体上的料箱抓取任务中实现了93.3%的成功率，并实现了对游动机器人鱼的动态抓取，优于端到端仿真到现实的迁移方法。

ABSTRACT

As the basis for prehensile manipulation, it is vital to enable robots to grasp as robustly as humans. Our innate grasping system is prompt, accurate, flexible, and continuous across spatial and temporal domains. Few existing methods cover all these properties for robot grasping. In this paper, we propose AnyGrasp for grasp perception to enable robots these abilities using a parallel gripper. Specifically, we develop a dense supervision strategy with real perception and analytic labels in the spatial-temporal domain. Additional awareness of objects' center-of-mass is incorporated into the learning process to help improve grasping stability. Utilization of grasp correspondence across observations enables dynamic grasp tracking. Our model can efficiently generate accurate, 7-DoF, dense, and temporally-smooth grasp poses and works robustly against large depth-sensing noise. Using AnyGrasp, we achieve a 93.3% success rate when clearing bins with over 300 unseen objects, which is on par with human subjects under controlled conditions. Over 900 mean-picks-per-hour is reported on a single-arm system. For dynamic grasping, we demonstrate catching swimming robot fish in the water. Our project page is at https://graspnet.net/anygrasp.html

研究动机与目标

• 弥合人类与机器人在非结构化真实环境中抓取感知性能之间的差距。
• 使用单次前向传播实现空间与时间上密集的7自由度、时序一致的抓取预测。
• 通过真实世界数据训练以及障碍物/质心意识，提升对深度传感器噪声和物体不稳定性问题的鲁棒性。
• 在未见过的物体和超越静态场景假设的动态抓取场景中实现泛化能力。
• 验证真实世界数据在抓取感知中的优越性，尤其是在低成本传感条件下的表现。

提出的方法

• 几何处理模块通过单次前向传播，从单目深度观测中预测密集的7自由度抓取配置。
• 时间关联模块利用学习到的嵌入相似性，追踪连续观测之间的抓取对应关系。
• 在时空域中应用密集监督，结合真实感知数据与解析标签，以提升数据效率。
• 通过在训练过程中过滤掉可能发生碰撞的抓取候选，隐式引入障碍物意识。
• 将质心（COG）意识整合到监督信号中，以增强抓取稳定性。
• 使用144种真实物理物体收集的真实世界数据进行训练，避免仿真到现实的域偏移问题。

实验结果

研究问题

• RQ1 抓取感知系统是否能在使用平行夹爪的真实非结构化环境中，实现与人类相当的鲁棒性与效率？
• RQ2 在深度噪声和物体多样性条件下，真实世界数据训练是否显著优于仿真到现实的迁移方法？
• RQ3 密集时空监督在实现时间上连续、平滑的抓取追踪方面有多有效？
• RQ4 集成质心与障碍物意识在多大程度上提升了抓取稳定性和成功率？
• RQ5 该系统是否能泛化到300多种未见过的物体以及如抓取快速移动鱼这样的动态场景？

主要发现

• AnyGrasp 在处理300多种未见过物体的料箱清空任务中实现了93.3%的成功率，与人类在相同条件下的表现相当。
• 该系统在单臂机器人上实现了每小时超过900次的平均抓取次数，展现出极高的效率。
• 系统成功在水中抓取了小型、高速移动的机器人鱼，证明了其在低摩擦条件下对动态抓取的鲁棒性。
• 该模型在显著的深度传感噪声下仍保持高性能，证明了其对传感器缺陷的鲁棒性。
• 使用144种真实物体进行训练的效果优于使用数千种仿真物体的训练，凸显了真实数据的价值。
• 消融实验证实，真实世界数据、抓取标注密度和场景多样性对泛化能力和性能有显著影响。