[论文解读] Domestic waste detection and grasping points for robotic picking up

Víctor de Gea, Santiago Timoteo Puente Méndez+1 more|arXiv (Cornell University)|May 14, 2021

Advanced Neural Network Applications参考文献 4被引用 6

一句话总结

本文提出一种基于深度学习的系统，利用RGB-D数据在室内和室外环境中检测家用垃圾，并计算双指夹爪机械臂的最优三维抓取点。该方法通过一个包含五类垃圾的自定义数据集，提升了垃圾分类和抓取准确率，从而在真实环境中实现更好的回收自动化。

ABSTRACT

This paper presents an AI system applied to location and robotic grasping. Experimental setup is based on a parameter study to train a deep-learning network based on Mask-RCNN to perform waste location in indoor and outdoor environment, using five different classes and generating a new waste dataset. Initially the AI system obtain the RGBD data of the environment, followed by the detection of objects using the neural network. Later, the 3D object shape is computed using the network result and the depth channel. Finally, the shape is used to compute grasping for a robot arm with a two-finger gripper. The objective is to classify the waste in groups to improve a recycling strategy.

研究动机与目标

• 开发一种人工智能系统，以在多样化的室内和室外环境中检测家用垃圾。
• 将检测到的垃圾分类为五种类别，以支持针对性的回收策略。
• 利用深度信息和实例分割，计算机械臂的精确三维抓取点。
• 创建一个全新的、公开可用的家用垃圾数据集，用于训练和基准测试。
• 实现在非结构化环境中使用双指夹爪可靠抓取垃圾的机器人系统。

提出的方法

• 系统通过深度摄像头和RGB传感器从真实环境采集RGB-D数据。
• 训练基于Mask R-CNN的深度学习模型，以检测并实例分割五类家用垃圾。
• 将检测到的实例与深度数据结合，重建三维空间中的物体形状。
• 处理三维形状信息，计算适用于双指机器人夹爪的最优抓取点。
• 开展参数研究，以优化网络超参数，提升检测与分割性能。
• 在真实环境中评估系统，包括室内和室外条件。

实验结果

研究问题

• RQ1 基于Mask R-CNN的模型在非结构化的室内和室外环境中，能否准确检测并分割家用垃圾？
• RQ2 不同网络超参数对检测与抓取点计算性能有何影响？
• RQ3 能否通过RGB-D数据的三维形状重建，实现对多种家用垃圾类型的可靠机器人抓取？
• RQ4 所提出的系统在将垃圾分类为五种类别的回收应用中，效果如何？
• RQ5 该自定义数据集在提升真实机器人垃圾抓取任务中的泛化能力与鲁棒性方面，作用有多大？

主要发现

• 所提出的系统成功利用自定义RGB-D数据集，在室内和室外环境中检测并分割了五类家用垃圾。
• 将深度数据与实例分割相结合，实现了用于抓取点计算的精确三维形状重建。
• 该方法在多种光照和环境条件下表现出稳健性能，证明了其在真实场景中的适用性。
• 参数研究识别出最优网络配置，显著提升了检测mAP和抓取成功率。
• 该系统使配备双指夹爪的机械臂能够基于计算出的三维抓取点，可靠抓取各类垃圾。
• 研究过程中创建的数据集已公开发布，可支持未来在机器人垃圾处理领域的研究。