[论文解读] Deep Learning Approaches to Grasp Synthesis: A Review

R. Newbury, Morris Gu+10 more|arXiv (Cornell University)|Jul 6, 2022

Robot Manipulation and Learning被引用 7

一句话总结

本篇系统性综述整合了85篇关于6自由度（6-DoF）抓取合成的深度学习论文，识别出四种核心方法——基于采样的方法、直接回归、强化学习以及样本匹配方法——并辅以两种支持性方法：形状近似与功能预测。本文提炼出十个关键结论，以指导数据驱动机器人抓取的未来研究，强调多模态传感、灵巧手以及将抓取技术整合至完整操作流程的重要性。

ABSTRACT

Grasping is the process of picking up an object by applying forces and torques at a set of contacts. Recent advances in deep-learning methods have allowed rapid progress in robotic object grasping. In this systematic review, we surveyed the publications over the last decade, with a particular interest in grasping an object using all 6 degrees of freedom of the end-effector pose. Our review found four common methodologies for robotic grasping: sampling-based approaches, direct regression, reinforcement learning, and exemplar approaches. Additionally, we found two `supporting methods` around grasping that use deep-learning to support the grasping process, shape approximation, and affordances. We have distilled the publications found in this systematic review (85 papers) into ten key takeaways we consider crucial for future robotic grasping and manipulation research. An online version of the survey is available at https://rhys-newbury.github.io/projects/6dof/

研究动机与目标

• 系统回顾过去十年中基于深度学习的6-DoF抓取合成的最新研究进展。
• 识别并分类6-DoF抓取合成研究中占主导地位的方法论。
• 分析支持性深度学习技术（如形状近似与功能预测）在提升抓取合成中的作用。
• 从85篇综述论文中提炼出10项关键结论，以指导未来机器人抓取与操作的研究。
• 指出当前研究的局限性，包括仅依赖视觉传感、过度依赖简单夹爪，以及抓取技术与更广泛操作流程整合不足。

提出的方法

• 作者对2010至2022年间发表的85篇论文进行了系统性文献综述，聚焦于深度学习在6-DoF抓取合成中的应用。
• 论文被划分为四种主要方法论：基于采样的方法、直接回归、强化学习以及基于样本匹配的方法。
• 识别出支持性方法，如三维形状重建与功能预测，这些方法是实现抓取合成的关键推动因素。
• 综述分析了所使用的传感器模态，重点关注RGB与深度相机，并指出触觉与力/力矩传感等模态尚未被充分使用。
• 评估了抓取参数化方式，强调对夹爪与灵巧手采用完整的6-DoF位姿表示（位置与姿态）。
• 基于研究发现的综合分析，提炼出一组经筛选的10项关键结论，涵盖感知、硬件设计以及在端到端操作系统的集成方面的不足。

实验结果

研究问题

• RQ1 在6-DoF抓取合成中，主导的深度学习方法有哪些？它们在性能与适用性方面有何差异？
• RQ2 支持性深度学习技术（如形状近似与功能预测）在多大程度上促进了抓取合成的成功？
• RQ3 当前方法在多大程度上依赖于仅视觉传感？这种假设存在哪些局限性？
• RQ4 夹爪类型（如平行颚式夹爪、灵巧手）的选择如何影响6-DoF抓取合成方法的设计与评估？
• RQ5 抓取合成在当前研究中以何种方式与更广泛的操作流程相隔离？如何更好地将其整合进端到端机器人系统？

主要发现

• 综述识别出四种基于深度学习的6-DoF抓取合成主要方法：基于采样的方法、直接回归、强化学习以及样本匹配方法。
• 支持性方法如三维形状重建与功能预测正日益被用于提升抓取质量与跨物体的泛化能力。
• 大多数研究依赖单视角的RGB或深度图像，对多模态传感（如触觉或力反馈）的探索仍有限。
• 研究存在强烈倾向，偏好使用简单夹爪（如平行颚式夹爪），极少有研究关注仿人或灵巧手，限制了复杂操作的进展。
• 尽管技术不断进步，6-DoF抓取合成仍主要与完整操作流程脱节，对基于轨迹的抓取规划或故障恢复的关注不足。
• 作者提炼出十项关键结论，包括对多模态感知、手部设计改进，以及将抓取技术更好地整合进整体操作流程的需求，以实现真实场景中的部署。