[论文解读] Design and Development of an automated Robotic Pick & Stow System for an e-Commerce Warehouse

Swagat Kumar, Anima Majumder+10 more|arXiv (Cornell University)|Mar 7, 2017

Robot Manipulation and Learning参考文献 53被引用 7

一句话总结

本论文提出了一种低成本、传感器最少的机器人系统，用于电商仓库中的自动化抓取与存放任务，采用基于Faster R-CNN的感知模块、自定义气动吸盘夹爪以及实时运动规划。该系统仅使用4,800组训练样本，实现了90±5%的平均物体识别准确率，每分钟完成2.5次抓取或存放操作，在2016年亚马逊抓取挑战赛中获得第五名。

ABSTRACT

In this paper, we provide details of a robotic system that can automate the task of picking and stowing objects from and to a rack in an e-commerce fulfillment warehouse. The system primarily comprises of four main modules: (1) Perception module responsible for recognizing query objects and localizing them in the 3-dimensional robot workspace; (2) Planning module generates necessary paths that the robot end- effector has to take for reaching the objects in the rack or in the tote; (3) Calibration module that defines the physical workspace for the robot visible through the on-board vision system; and (4) Gripping and suction system for picking and stowing different kinds of objects. The perception module uses a faster region-based Convolutional Neural Network (R-CNN) to recognize objects. We designed a novel two finger gripper that incorporates pneumatic valve based suction effect to enhance its ability to pick different kinds of objects. The system was developed by IITK-TCS team for participation in the Amazon Picking Challenge 2016 event. The team secured a fifth place in the stowing task in the event. The purpose of this article is to share our experiences with students and practicing engineers and enable them to build similar systems. The overall efficacy of the system is demonstrated through several simulation as well as real-world experiments with actual robots.

研究动机与目标

• 开发一种低成本、传感器依赖度低的机器人系统，用于电商仓库中的自动化物体抓取与存放。
• 实现在非结构化仓库环境中无需基础设施改造的实时自主运行。
• 在有限标注数据上训练小型高效深度学习模型，实现高识别准确率。
• 设计一种多功能夹爪，能够处理多种类型物体，包括柔软和易变形物品。
• 通过参与2016年亚马逊抓取挑战赛，验证系统的可行性。

提出的方法

• 采用基于VGG-16和ZF主干网络的Faster R-CNN模型，在三维工作空间中实现实时物体检测与定位。
• 实施一种混合数据增强策略，在保持检测准确率的同时减少所需训练样本数量。
• 设计一种双指夹爪，通过气动阀门控制吸力，提升在不同物体类型下的抓握可靠性。
• 开发一种感知流水线，利用深度图像与RGB图像计算表面法向量和曲率，实现鲁棒的物体分割。
• 集成一种运动规划模块，基于检测到的物体位姿和夹爪约束生成无碰撞路径。
• 使用校准模块将机器人的物理工作空间与视觉系统的坐标系对齐，无需环境传感器。

实验结果

研究问题

• RQ1 机器人系统是否能在极少量训练数据和低计算成本下实现高物体识别准确率？
• RQ2 如何优化夹爪设计，以在非结构化仓库环境中处理多样化的物体形状、尺寸和材质？
• RQ3 在真实世界的机器人抓取与存放任务中，传感器最小化与系统性能之间的权衡是什么？
• RQ4 轻量级感知与规划堆栈是否能在标准GPU硬件上实现实时性能？
• RQ5 如何调整深度学习模型以减少数据标注负担，同时保持检测可靠性？

主要发现

• 系统仅使用4,800组训练样本，即实现了90±5%的平均物体识别准确率，远低于其他参赛团队的样本数量。
• 基于VGG-16主干网络的Faster R-CNN模型在真实环境测试中，对29类物体的平均精确度达到85.6%。
• 自定义的双指气动吸盘夹爪成功实现了对24种（共29种）物体类型的可靠抓取，包括柔软和不规则形状的物品。
• 在正常条件下，系统运行速度达到每分钟2.5次抓取或存放操作，证明了实时可行性的实现。
• 混合数据增强方法相比标准增强策略，将所需训练样本数量减少了40%，且未牺牲检测准确率。
• 校准与感知流水线在不同光照和遮挡条件下，仍能实现多轮试验中的一致性视觉-运动协同。