[论文解读] Grasp Proposal Networks: An End-to-End Solution for Visual Learning of Robotic Grasps

Chaozheng Wu, Chen, Jian+5 more|arXiv (Cornell University)|Sep 26, 2020

Robot Manipulation and Learning参考文献 33被引用 5

一句话总结

该论文提出Grasp Proposal Networks (GPNet)，一种端到端深度学习框架，通过使用可学习锚点的3D网格化抓取提议模块，从单张RGB图像中预测多样化的6-DOF抓取。GPNet在仿真和真实机器人抓取任务中均达到最先进性能，优于先前方法如6-DOF GraspNet和GQCNN，尤其在抓取多样性与真实世界泛化能力方面表现突出。

ABSTRACT

Learning robotic grasps from visual observations is a promising yet challenging task. Recent research shows its great potential by preparing and learning from large-scale synthetic datasets. For the popular, 6 degree-of-freedom (6-DOF) grasp setting of parallel-jaw gripper, most of existing methods take the strategy of heuristically sampling grasp candidates and then evaluating them using learned scoring functions. This strategy is limited in terms of the conflict between sampling efficiency and coverage of optimal grasps. To this end, we propose in this work a novel, end-to-end \emph{Grasp Proposal Network (GPNet)}, to predict a diverse set of 6-DOF grasps for an unseen object observed from a single and unknown camera view. GPNet builds on a key design of grasp proposal module that defines \emph{anchors of grasp centers} at discrete but regular 3D grid corners, which is flexible to support either more precise or more diverse grasp predictions. To test GPNet, we contribute a synthetic dataset of 6-DOF object grasps; evaluation is conducted using rule-based criteria, simulation test, and real test. Comparative results show the advantage of our methods over existing ones. Notably, GPNet gains better simulation results via the specified coverage, which helps achieve a ready translation in real test. We will make our dataset publicly available.

研究动机与目标

• 解决6-DOF机器人抓取中启发式抓取采样方法的局限性，即有限采样可能导致遗漏最优抓取并增加计算成本。
• 克服现有基于VAE的方法中存在的模式崩溃问题，这些方法产生的抓取预测缺乏多样性，且集中于物体中心附近。
• 开发一种端到端学习框架，直接从单视角RGB图像预测多样化、高质量的6-DOF抓取，无需依赖后处理或启发式采样。
• 通过提升抓取多样性与覆盖度，最小化域差距，实现从合成数据到真实机器人系统的鲁棒泛化。
• 贡献一个大规模合成6-DOF抓取数据集，包含226种物体模型的2260万条标注抓取，用于基准测试。

提出的方法

• 引入一种抓取提议模块，将抓取中心锚点定义在离散且规则的3D网格角落，从而灵活控制预测的多样性与精度。
• 在抓取提议模块之上堆叠三个分支：一个用于对称抓取有效性预测，一个用于6-DOF抓取回归（位置与姿态），一个用于置信度评分。
• 使用结合分类、回归与置信度预测的多任务损失函数，端到端训练网络，以优化抓取质量与多样性。
• 通过调整3D提议网格的空间分辨率与范围来控制抓取多样性——更宽或更稀疏的网格促进多样性，更密集的网格提升精度。
• 利用从CAD模型和物理仿真生成的合成数据，在大规模、多样化的物体实例上进行网络训练。
• 采用可微且可学习的锚点机制，使网络能够聚焦于3D空间中的有希望区域，同时保持对物体完整可抓取表面的覆盖。

实验结果

研究问题

• RQ1 端到端深度学习模型是否能在6-DOF机器人抓取预测中超越启发式采样与评分流水线？
• RQ2 通过控制抓取提议锚点的空间分布，是否能提升仿真与真实环境中的抓取多样性与成功率？
• RQ3 预测中的抓取多样性在多大程度上提升了真实世界泛化能力与成功率，尤其是在域移位条件下？
• RQ4 合成抓取标注的规模与密度在多大程度上影响端到端抓取预测网络的性能？
• RQ5 单一统一的网络架构是否能在无需额外精炼阶段的情况下，同时实现高精度与高多样性？

主要发现

• 在使用10×10×10网格分辨率与22cm×22cm×22cm提议空间时，GPNet在仿真环境中的成功率达到90.0%（k=10%），显著优于6-DOF GraspNet（无精炼时为43.3%）与GQCNN（平面抓取为78.3%）。
• 在10×10×10网格与22cm提议空间下，GPNet在20种真实物体上的测试中达到85%的成功率，超过6-DOF GraspNet的73%成功率。
• 将训练数据减少至原始数据的1/4时，GPNet在仿真中的成功率从90.0%下降至52.2%，表明高质量、密集的标注对性能至关重要。
• 每类物体的标注数量显著影响性能：当每类物体的标注数从10K增至100K时，GPNet在仿真中的成功率从65.0%提升至90.0%。
• 采用稀疏锚点网格（r=3，b=22cm）的GPNet在k=10%时达到64.4%的成功率，表明多样性至关重要——其性能在网格更密集时显著提升。
• 真实世界测试表明，尽管存在域移位，GPNet仍保持强劲性能（平均成功率85%），表明其从合成数据到真实环境具有有效的泛化能力。