[论文解读] Robust Keypoint Detection and Pose Estimation of Robot Manipulators with Self-Occlusions via Sim-to-Real Transfer.

Jingpei Lu, Florian Richter+1 more|arXiv (Cornell University)|Oct 15, 2020

Advanced Vision and Imaging参考文献 24被引用 8

一句话总结

本文提出了一种自动化、迭代的方法，通过模拟到真实世界的迁移，优化机器人机械臂上的关键点位置，以实现鲁棒的无标记姿态估计。通过利用模拟器生成的合成数据和领域随机化，该方法提升了深度学习方法在自遮挡情况下的检测性能，从而在相机到机器人标定和整臂姿态估计等实际应用中实现高精度的性能。

ABSTRACT

Keypoint detection is an essential building block for many robotic applications like motion capture and pose estimation. Historically, keypoints are detected using uniquely engineered markers such as checkerboards, fiducials, or markers. More recently, deep learning methods have been explored as they have the ability to detect user-defined keypoints in a marker-less manner. However, deep neural network (DNN) detectors can have an uneven performance for different manually selected keypoints along the kinematic chain. An example of this can be found on symmetric robotic tools where DNN detectors cannot solve the correspondence problem correctly. In this work, we propose a new and autonomous way to define the keypoint locations that overcomes these challenges. The approach involves finding the optimal set of keypoints on robotic manipulators for robust visual detection. Using a robotic simulator as a medium, our algorithm utilizes synthetic data for DNN training, and the proposed algorithm is used to optimize the selection of keypoints through an iterative approach. The results show that when using the optimized keypoints, the detection performance of the DNNs improved so significantly that they can even be detected in cases of self-occlusion. We further use the optimized keypoints for real robotic applications by using domain randomization to bridge the reality gap between the simulator and the physical world. The physical world experiments show how the proposed method can be applied to the wide-breadth of robotic applications that require visual feedback, such as camera-to-robot calibration, robotic tool tracking, and whole-arm pose estimation.

研究动机与目标

• 解决使用深度学习在对称机器人机械臂上关键点检测性能不一致的挑战。
• 通过自主识别最优关键点配置，消除对手动设计标记的依赖。
• 通过模拟中的迭代优化过程，提升在自遮挡情况下的检测鲁棒性。
• 通过领域随机化弥合模拟到真实世界的差距，实现真实世界部署。
• 支持通用视觉反馈应用，如工具跟踪和整臂姿态估计。

提出的方法

• 使用机器人模拟器生成用于训练深度神经网络（DNN）的关键点检测的合成数据。
• 采用迭代优化算法，自动选择运动链上最具区分性和鲁棒性的关键点位置。
• 在训练过程中应用领域随机化，以模拟真实世界中的领域偏移并增强泛化能力。
• 基于在多样化视角条件下的检测置信度和对应准确性，优化关键点选择。
• 在将优化后的关键点集转移到真实机器人系统之前，先在模拟环境中进行验证。
• 使用最终的关键点配置用于后续任务，如姿态估计和相机到机器人标定。

实验结果

研究问题

• RQ1 自动化方法能否识别出显著提升DNN在机器人机械臂上关键点检测性能的关键点配置？
• RQ2 与人工选择的关键点相比，所提出的优化方法在自遮挡条件下如何提升检测鲁棒性？
• RQ3 领域随机化在多大程度上能够缩小真实机器人系统中关键点检测的模拟到真实世界的差距？
• RQ4 优化后的关键点集在需要视觉反馈的多样化机器人应用中是否可有效复用？

主要发现

• 所提出的方法显著提升了所有关节处的关键点检测性能，尤其在对称和自遮挡配置下表现突出。
• 优化后的关键点集即使在机械臂部分被其他部件遮挡时也能实现可靠检测。
• 领域随机化有效缩小了模拟到真实世界的领域差距，使DNN在实体机器人上成功部署。
• 优化后的关键点实现了精确的整臂姿态估计，并支持相机到机器人标定和工具跟踪等真实世界应用。
• 在不同视角下的检测一致性和对应准确性方面，该方法优于人工选择的关键点。