[论文解读] Learning a High-Precision Robotic Assembly Task Using Pose Estimation from Simulated Depth Images.

Yuval Litvak, Armin Biess+1 more|arXiv (Cornell University)|Sep 27, 2018

Robot Manipulation and Learning被引用 2

一句话总结

本文提出了一种基于模拟深度图像的两阶段深度学习姿态估计系统，用于实现复杂齿轮状机构的高精度机器人装配，实现2.16毫米的平移误差和0.64°的旋转误差，随机放置零件的装配成功率达到91%，标志着首个具备真实世界可转移性的西门子创新挑战全解决方案。

ABSTRACT

Most of industrial robotic assembly tasks today require fixed initial conditions for successful assembly. These constraints induce high production costs and low adaptability to new tasks. In this work we aim towards flexible and adaptable robotic assembly by using 3D CAD models for all parts to be assembled. We focus on a generic assembly task - the Siemens Innovation Challenge - in which a robot needs to assemble a gear-like mechanism with high precision into an operating system. To obtain the millimeter-accuracy required for this task and industrial settings alike, we use a depth camera mounted near the robot end-effector. We present a high-accuracy two-stage pose estimation procedure based on deep convolutional neural networks, which includes detection, pose estimation, refinement, and handling of near- and full symmetries of parts. The networks are trained on simulated depth images with means to ensure successful transfer to the real robot. We obtain an average pose estimation error of 2.16 millimeters and 0.64 degree leading to 91% success rate for robotic assembly of randomly distributed parts. To the best of our knowledge, this is the first time that the Siemens Innovation Challenge is fully addressed, with all the parts assembled with high success rates.

研究动机与目标

• 实现无需固定初始条件的柔性、可适应的机器人装配，降低生产成本并提高任务多样性。
• 解决仅使用3D CAD模型和深度传感实现复杂齿轮状机构高精度装配的挑战。
• 开发一种能够以毫米级精度处理零件近似对称性和完全对称性的姿态估计系统。
• 确保从仿真到真实世界机器人部署的域随机化成功迁移。

提出的方法

• 采用两阶段的深度卷积神经网络流程：首先在深度图像中检测零件，然后优化其6D姿态估计。
• 网络仅在通过3D CAD模型生成的合成深度图像上进行训练，其中随机化了光照、纹理和噪声，以模拟真实世界条件。
• 通过可微分的优化模块对姿态进行细化，以在初始检测基础上进一步提升精度。
• 采用对称性感知损失函数和数据增强技术，以提高对称及近似对称零件的鲁棒性。
• 整合域随机化和端到端仿真到真实世界的迁移策略，以确保在真实机器人上的性能泛化。
• 在机器人末端执行器附近安装深度相机，以在装配过程中提供实时、高精度的姿态反馈。

实验结果

研究问题

• RQ1 基于模拟深度图像训练的深度学习姿态估计系统能否在工业机器人装配任务中达到足够的精度？
• RQ2 在高精度装配的6D姿态估计中，如何有效处理机械零件的近似对称性和完全对称性？
• RQ3 当仅使用3D CAD模型和模拟训练数据时，真实世界机器人装配能达到怎样的精度和成功率？
• RQ4 域随机化在无需真实世界微调的情况下，能在多大程度上实现机器人装配中的仿真到真实世界迁移？

主要发现

• 所提方法在姿态估计中实现了平均2.16毫米的平移误差和平均0.64度的旋转误差。
• 该系统在西门子创新挑战任务中实现了91%的随机分布零件装配成功率。
• 姿态估计流程成功处理了齿轮状机构组件中的近似对称性和完全对称性。
• 使用结合域随机化的模拟深度图像，实现了无需真实世界微调的有效仿真到真实世界迁移。
• 这是首个报道的、仅使用3D CAD模型和模拟训练数据实现高精度机器人装配的西门子创新挑战全解决方案。
• 该方法在真实世界部署中表现出鲁棒性和可靠性，实现了无需固定初始条件的工业级精度。