[论文解读] Fully Convolutional One-Shot Object Segmentation for Industrial Robotics

Benjamin Schnieders, Shan Luo+2 more|arXiv (Cornell University)|Mar 2, 2019

Advanced Neural Network Applications被引用 7

一句话总结

本文提出一种用于工业机器人领域少样本实例分割的全卷积孪生网络，能够从单张原型图像中实现对新物体的快速检测与分割。通过多任务学习进行训练，模型在7,000次迭代后对未见物体实现73%的平均准确率，最快可在4,000次迭代（57分钟）内收敛，重新训练后可实现97.77%的估计抓取成功率，支持实时机器人抓取。

ABSTRACT

The ability to identify and localize new objects robustly and effectively is vital for robotic grasping and manipulation in warehouses or smart factories. Deep convolutional neural networks (DCNNs) have achieved the state-of-the-art performance on established image datasets for object detection and segmentation. However, applying DCNNs in dynamic industrial scenarios, e.g., warehouses and autonomous production, remains a challenging problem. DCNNs quickly become ineffective when tasked with detecting objects that they have not been trained on. Given that re-training using the latest data is time consuming, DCNNs cannot meet the requirement of the Factory of the Future (FoF) regarding rapid development and production cycles. To address this problem, we propose a novel one-shot object segmentation framework, using a fully convolutional Siamese network architecture, to detect previously unknown objects based on a single prototype image. We turn to multi-task learning to reduce training time and improve classification accuracy. Furthermore, we introduce a novel approach to automatically cluster the learnt feature space representation in a weakly supervised manner. We test the proposed framework on the RoboCup@Work dataset, simulating requirements for the FoF. Results show that the trained network on average identifies 73% of previously unseen objects correctly from a single example image. Correctly identified objects are estimated to have a 87.53% successful pick-up rate. Finally, multi-task learning lowers the convergence time by up to 33%, and increases accuracy by 2.99%.

研究动机与目标

• 在智能工厂等动态工业环境中，实现机器人对物体的快速检测与分割。
• 通过实现少样本泛化能力，解决深度学习中训练时间过长的瓶颈问题。
• 通过弱监督特征聚类框架中的多任务学习，缩短训练时间并提升准确率。
• 在基于RoboCup@Work数据集的“未来工厂”真实场景模拟中验证该方法。
• 证明少样本分割可有效过渡为完全训练好的分割，且延迟极小。

提出的方法

• 采用全卷积孪生网络架构，通过将查询图像与单张原型图像进行像素级比较，实现分割。
• 通过联合优化交并比（IoU）、分类准确率以及一种新型向量分布度量，采用多任务学习以提升收敛速度与鲁棒性。
• 引入弱监督聚类方法，自动组织学习到的特征表示，无需人工标注。
• 在RoboCup@Work数据集上端到端训练网络，该数据集模拟了真实工业环境中物体的多样性与背景变化。
• 通过仅使用新物体的一张示例图像即可实现快速再训练，支持在完整网络收敛前部署。
• 通过IoU与分类准确率在未见物体类别上评估模型性能，并跟踪训练迭代过程中的性能变化。

实验结果

研究问题

• RQ1 基于单个示例，DCNN在多大程度上能泛化其分割能力至此前未见的工业物体？
• RQ2 多任务学习在工业机器人少样本分割中如何影响收敛速度与分类准确率？
• RQ3 弱监督特征聚类是否能在无需额外标注的情况下提升泛化能力？
• RQ4 在重新训练后，少样本分割的性能与完全训练好的分割相比如何？
• RQ5 在真实机器人操作任务中，实现稳健可部署性能的最小训练时间是多少？

主要发现

• 所提出的框架在RoboCup@Work数据集上，经7,000次训练迭代后，平均正确分割了73个此前未见的物体。
• 采用多任务学习后，模型最快可在4,000次迭代内收敛（在NVIDIA 1080 Ti上约57分钟），相比单任务训练，收敛时间减少高达33%。
• 与单任务基线相比，多任务学习使分类准确率提升2.99%。
• 在全部数据上完成完整再训练后，模型分类准确率达到94%，并估计对正确识别物体的抓取成功率为97.77%。
• 同时训练IoU、准确率、向量分布与分割四项任务，相比训练较少任务，收敛更快且误差更低。
• 当在多样化工业物体的覆盖性数据集上进行训练时，网络对新物体类别的泛化能力表现出鲁棒性，有效避免了对特定训练细节的过拟合。