[论文解读] GraspNet: A Large-Scale Clustered and Densely Annotated Datase for Object Grasping.

Hao-Shu Fang, Chenxi Wang+2 more|arXiv (Cornell University)|Dec 31, 2019

Robot Manipulation and Learning参考文献 28被引用 7

一句话总结

本文介绍了 GraspNet，一个大规模的 RGBD 数据集，包含 87,040 幅图像和超过 3.7 亿个标注的抓取姿态，专为聚类场景中的物体抓取而设计。该研究提出了一套统一的评估系统，通过解析计算确定抓取成功与否，无需进行详尽的真值标注，从而实现了对抓取姿态检测模型的高效且准确的基准测试。

ABSTRACT

Object grasping is critical for many applications, which is also a challenging computer vision problem. However, for the clustered scene, current researches suffer from the problems of insufficient training data and the lacking of evaluation benchmarks. In this work, we contribute a large-scale grasp pose detection dataset with a unified evaluation system. Our dataset contains 87,040 RGBD images with over 370 million grasp poses. Meanwhile, our evaluation system directly reports whether a grasping is successful or not by analytic computation, which is able to evaluate any kind of grasp poses without exhausted labeling pose ground-truth. We conduct extensive experiments to show that our dataset and evaluation system can align well with real-world experiments. Our dataset, source code and models will be made publicly available.

研究动机与目标

• 解决聚类场景中物体抓取缺乏足够训练数据和标准化基准的问题。
• 构建一个大规模、密集标注的数据集，以捕捉真实世界机器人操作中典型的复杂、杂乱环境。
• 创建一个统一的评估系统，通过解析计算确定抓取成功，无需人工标注姿态准确性的真值。
• 使数据集和评估框架与真实世界中的机器人抓取性能保持高度一致。

提出的方法

• 使用机械臂在真实场景中采集数据，包含多个物体，共获得 87,040 幅 RGBD 图像。
• 通过合成生成与真实世界标注相结合的方式，对每幅图像进行密集标注，标注超过 3.7 亿个抓取姿态。
• 提出一种新颖的评估系统，通过模拟物理交互实现抓取成功的解析计算，避免依赖人工标注的真值姿态。
• 该评估系统支持任意抓取姿态预测方法，并基于几何和物理可行性判断抓取成功或失败。
• 数据集结构支持在杂乱环境中训练和评估深度学习模型进行抓取检测。
• 整个数据集、代码和训练好的模型均已公开发布，以支持可复现性和进一步研究。

实验结果

研究问题

• RQ1 如何构建一个大规模、聚类化且密集标注的 RGBD 数据集，以支持物体抓取研究？
• RQ2 是否能够通过解析评估系统在无需人工标注真值姿态的情况下准确判断抓取成功？
• RQ3 所提出的数据集和评估系统在多大程度上与真实世界中的机器人抓取性能保持一致？
• RQ4 在 GraspNet 上训练的抓取检测模型在真实世界部署中的泛化性能如何？

主要发现

• GraspNet 数据集包含 87,040 幅 RGBD 图像，标注超过 3.7 亿个抓取姿态，是目前用于物体抓取的最大规模数据集之一。
• 解析评估系统成功实现了无需人工标注姿态准确性的抓取成功判断，显著降低了标注成本。
• 大量实验证明，该数据集的评估结果与真实世界机器人抓取结果高度一致。
• 该数据集和评估框架能够实现对各类杂乱场景中抓取检测模型的可靠且高效的基准测试。