[论文解读] Quickly Inserting Pegs into Uncertain Holes using Multi-view Images and Deep Network Trained on Synthetic Data

Joshua C. Triyonoputro, Weiwei Wan+1 more|arXiv (Cornell University)|Feb 25, 2019

Robot Manipulation and Learning参考文献 45被引用 14

一句话总结

本文提出一种基于学习的视觉伺服方法，利用在合成数据上训练的深度神经网络，通过多视角图像快速引导机器人插销对准位置不确定的孔洞。通过预测孔洞所在象限，并结合螺旋搜索与阻抗控制，该系统在多种纹理和颜色表面上的插销装配速度更快、鲁棒性更强，优于仅使用传统螺旋搜索的方法。

ABSTRACT

This paper uses robots to assemble pegs into holes on surfaces with different colors and textures. It especially targets at the problem of peg-in-hole assembly with initial position uncertainty. Two in-hand cameras and a force-torque sensor are used to account for the position uncertainty. A program sequence comprising learning-based visual servoing, spiral search, and impedance control is implemented to perform the peg-in-hole task with feedback from the above sensors. Contributions are mainly made in the learning-based visual servoing of the sequence, where a deep neural network is trained with various sets of synthetic data generated using the concept of domain randomization to predict where a hole is. In the experiments and analysis section, the network is analyzed and compared, and a real-world robotic system to insert pegs to holes using the proposed method is implemented. The results show that the implemented peg-in-hole assembly system can perform successful peg-in-hole insertions on surfaces with various colors and textures. It can generally speed up the entire peg-in-hole process.

研究动机与目标

• 解决在不同表面纹理和颜色下，初始位置不确定性较大的插销-孔装配挑战。
• 通过集成基于学习的视觉伺服方法，减少传统螺旋搜索方法的时间消耗和失败率。
• 利用带领域随机化的合成数据，开发一种鲁棒且可泛化的视觉伺服系统。
• 在具有不同背景纹理的多种真实表面环境中，通过实际机器人实验验证该方法的有效性。
• 比较不同合成数据训练方案下的性能表现，并评估其效率提升效果。

提出的方法

• 使用通过领域随机化生成的合成数据，训练深度神经网络以预测多视角RGB图像中孔洞的象限。
• 通过随机将夹爪掩码粘贴到多样化背景图像上，生成合成数据以模拟各种纹理和颜色。
• 迭代式视觉伺服通过网络输出实时引导机器人将插销对准预测的孔洞象限。
• 系统将视觉伺服与螺旋搜索结合用于精细对齐，并采用阻抗控制完成最终插入。
• 在搜索和插入阶段，通过机载摄像头和六维力/力矩传感器提供实时反馈。
• 通过仿真和真实机器人实验，在具有不同颜色和纹理的表面上评估该方法。

实验结果

研究问题

• RQ1 在不同表面条件下，基于合成数据训练的深度神经网络能否准确预测多视角图像中孔洞的象限？
• RQ2 与传统螺旋搜索相比，基于学习的视觉伺服在速度和成功率方面表现如何？
• RQ3 合成数据分布的选择（如基于图像的分布 vs. 纯色分布）是否会影响网络在真实场景中的泛化能力和鲁棒性？
• RQ4 在初始位置不确定性较高的情况下，该方法在多大程度上减少了插入时间？
• RQ5 系统的故障模式是什么？它们与表面外观及网络训练数据之间是否存在相关性？

主要发现

• 使用'Image'训练数据时，系统在'White'和'Brown'表面上实现100%成功率，在'Pink'表面上为90%，在'Sky'表面上为30%。
• 使用'Plain'训练数据时，系统在'White'和'Brown'表面上实现100%成功率，但在'Pink'表面上仅为40%，在'Sky'表面上为0%。
• 当初始位置误差超过10 mm时，所提方法将平均插入时间从仅使用螺旋搜索的90多秒降低至70秒以下。
• 当初始误差较小时（4.0 mm），螺旋搜索本身更快，证实本方法的优势在高不确定性条件下最为显著。
• 在多样化合成数据（如'Image'）上训练的网络，相比简单数据（如'Plain'）在未见纹理和颜色上的泛化能力更强。
• 故障主要发生在'Sky'表面，以及使用'Plain'网络时的'Pink'表面，表明系统对低对比度或高反射背景较为敏感。