[论文解读] Learning Based Industrial Bin-picking Trained with Approximate Physics Simulator

Ryo Matsumura, Kensuke Harada+2 more|arXiv (Cornell University)|May 23, 2018

Robot Manipulation and Learning参考文献 7被引用 3

一句话总结

本文提出一种基于学习的工业料箱抓取系统，采用卷积神经网络（CNN）进行训练，其训练数据由近似物理模拟器生成的合成数据构成，以加速数据收集过程。尽管在碰撞检测中为提升模拟效率而使用了形状近似，但该方法通过使用精确的3D模型生成深度图像输入给CNN，有效缓解了近似带来的性能影响，从而保持了高预测精度。

ABSTRACT

In this research, we tackle the problem of picking an object from randomly stacked pile. Since complex physical phenomena of contact among objects and fingers makes it difficult to perform the bin-picking with high success rate, we consider introducing a learning based approach. For the purpose of collecting enough number of training data within a reasonable period of time, we introduce a physics simulator where approximation is used for collision checking. In this paper, we first formulate the learning based robotic bin-picking by using CNN (Convolutional Neural Network). We also obtain the optimum grasping posture of parallel jaw gripper by using CNN. Finally, we show that the effect of approximation introduced in collision checking is relaxed if we use exact 3D model to generate the depth image of the pile as an input to CNN.

研究动机与目标

• 解决在可行时间内收集足够训练数据以支持基于学习的机器人料箱抓取的挑战。
• 克服在随机堆叠的不规则形状物体堆中模拟复杂物理相互作用带来的计算瓶颈。
• 最小化物理模拟中形状近似对基于CNN的抓取成功率预测准确性造成的负面影响。
• 开发一种方法，即使碰撞检测使用简化的物体形状，也能实现高精度的抓取策略学习。
• 证明使用精确3D模型生成深度图像可缓解模拟中形状近似导致的性能下降。

提出的方法

• 使用带有形状近似的物理模拟器进行碰撞检测，以减少数据生成过程中的模拟时间。
• 使用原始高保真3D模型生成物体堆的合成深度图像，以在网络输入中保持几何保真度。
• 训练CNN以根据深度图像和候选抓取姿态预测抓取成功的概率。
• 通过从CNN输出中选择预测成功率最高的姿态来优化抓取姿态。
• 在碰撞检测中使用凸分解后物体部分的矩形近似，同时保留原始几何形状用于深度图像渲染。
• 通过分析近似导致模拟中出现误报的情况下的预测误差，评估训练后CNN的鲁棒性。

实验结果

研究问题

• RQ1 物理模拟中的形状近似在多大程度上会降低基于CNN的料箱抓取策略的性能？
• RQ2 使用精确3D模型生成深度图像，是否能够补偿碰撞检测中形状近似引入的不准确性？
• RQ3 在训练数据中，形状近似的最大可接受比例是多少，仍能保证对现实世界抓取任务的可靠泛化？
• RQ4 CNN如何区分由模拟近似引起的现实与非现实抓取？
• RQ5 尽管训练过程中使用了近似物理模拟，基于学习的方法是否仍能在真实世界料箱抓取中保持高成功率？

主要发现

• CNN模型在20个验证测试案例中成功识别出最优抓取姿态，且成功率很高。
• 即使物理模拟使用了近似形状，由于深度图像输入采用精确3D模型，CNN仍能保持可靠的预测精度。
• 在200次模拟案例中的15次中，机器人因近似导致的误报而成功抓取了物体，但CNN在大多数此类情况下预测的成功率较低（低于0.5）。
• 当训练中使用近似物体的比例低于30%时，CNN能以高精度正确预测抓取成功或失败。
• 该方法通过快速近似模拟实现高效的数据收集，同时通过精确深度图像输入保持了泛化能力。
• 该方法在模拟速度与预测可靠性之间实现了平衡，使大规模训练在工业料箱抓取应用中成为可能。