[논문 리뷰] Robust Keypoint Detection and Pose Estimation of Robot Manipulators with Self-Occlusions via Sim-to-Real Transfer.

Jingpei Lu, Florian Richter외 1명|arXiv (Cornell University)|2020. 10. 15.

Advanced Vision and Imaging참고 문헌 24인용 수 8

한 줄 요약

이 논문은 시뮬레이터에서의 시뮬레이션-진짜 전이를 활용하여 로봇 액추에이터의 관절점 위치를 자동으로 반복적으로 최적화하는 방법을 제안한다. 합성 데이터와 도메인 랜덤라이제이션을 활용함으로써, 자기 음영에 의한 영향을 받는 상황에서도 딥 러닝 기반의 검출 성능을 햖을 수 있으며, 카메라-로봇 캘리브레이션 및 전체 암 자세 추정과 같은 실제 응용 분야에서 정확한 적용이 가능하다.

ABSTRACT

Keypoint detection is an essential building block for many robotic applications like motion capture and pose estimation. Historically, keypoints are detected using uniquely engineered markers such as checkerboards, fiducials, or markers. More recently, deep learning methods have been explored as they have the ability to detect user-defined keypoints in a marker-less manner. However, deep neural network (DNN) detectors can have an uneven performance for different manually selected keypoints along the kinematic chain. An example of this can be found on symmetric robotic tools where DNN detectors cannot solve the correspondence problem correctly. In this work, we propose a new and autonomous way to define the keypoint locations that overcomes these challenges. The approach involves finding the optimal set of keypoints on robotic manipulators for robust visual detection. Using a robotic simulator as a medium, our algorithm utilizes synthetic data for DNN training, and the proposed algorithm is used to optimize the selection of keypoints through an iterative approach. The results show that when using the optimized keypoints, the detection performance of the DNNs improved so significantly that they can even be detected in cases of self-occlusion. We further use the optimized keypoints for real robotic applications by using domain randomization to bridge the reality gap between the simulator and the physical world. The physical world experiments show how the proposed method can be applied to the wide-breadth of robotic applications that require visual feedback, such as camera-to-robot calibration, robotic tool tracking, and whole-arm pose estimation.

연구 동기 및 목표

• 딥 러닝을 사용할 때 대칭적인 로봇 액추에이터에서 관절점 검출 성능의 일관성 문제를 해결하기 위해.
• 수동으로 설계된 마커에 의존하는 것을 제거하기 위해 최적의 관절점 구성 자동으로 식별하기 위해.
• 시뮬레이션에서 반복 최적화 과정을 통해 자기 음영 상황에서도 검출의 강건성을 향상시키기 위해.
• 실제 배포를 위해 도메인 랜덤라이제이션을 활용하여 시뮬레이션-진짜 격차를 해소하기 위해.
• 도구 추적 및 전체 암 자세 추정과 같은 일반적인 목적의 시각 피드백 응용 분야를 가능하게 하기 위해.

제안 방법

• 로봇 시뮬레이터를 사용하여 관절점 검출을 위한 딥 신경망(DNN) 학습을 위한 합성 데이터를 생성한다.
• 운동학 체인의 길이에 따라 가장 특징적이고 강건한 관절점 위치를 자동으로 선택하기 위해 반복 최적화 알고리즘을 적용한다.
• 실제 도메인의 변화를 시뮬레이션하고 일반화 능력을 향상시키기 위해 학습 중 도메인 랜덤라이제이션을 적용한다.
• 다양한 시야 조건에서 검출 신뢰도와 대응 정확도를 기반으로 관절점 선택을 최적화한다.
• 실제 물리적 로봇 시스템에 전이하기 전에 시뮬레이션에서 최적화된 관절점 세트를 검증한다.
• 최종 관절점 구성은 자세 추정 및 카메라-로봇 캘리브레이션과 같은 후행 작업에 사용된다.

실험 결과

연구 질문

• RQ1 자동화된 방법이 로봇 액추에이터에서 딥 러닝 기반의 관절점 검출 성능을 크게 향상시키는 관절점 구성 자동 식별이 가능한가?
• RQ2 제안된 최적화 방법이 수동으로 선택된 관절점에 비해 자기 음영 상황에서 검출의 강건성을 얼마나 향상시키는가?
• RQ3 도메인 랜덤라이제이션은 실제 로봇 시스템에서의 관절점 검출에 있어 시뮬레이션-진짜 격차를 어느 정도 줄일 수 있는가?
• RQ4 최적화된 관절점 세트는 다양한 로봇 응용 분야에서 시각 피드백이 필요한 곳에 효과적으로 재사용 가능한가?

주요 결과

• 제안된 방법은 모든 관절에서 관절점 검출 성능을 크게 향상시키며, 특히 대칭적이고 자기 음영이 발생하는 구성에서 뚜렷한 개선 효과가 있다.
• 최적화된 관절점 세트는 액추에이터의 일부가 다른 세그먼트에 의해 음영에 갇혀도 신뢰할 수 있는 검출을 가능하게 한다.
• 도메인 랜덤라이제이션은 시뮬레이션-진짜 도메인 격차를 효과적으로 줄여 실제 로봇에 DNN의 성공적인 배포를 가능하게 한다.
• 최적화된 관절점은 정확한 전체 암 자세 추정을 가능하게 하며, 카메라-로봇 캘리브레이션 및 도구 추적과 같은 실제 환경에서의 응용을 지원한다.
• 다양한 시야 각도에서 검출 일관성과 대응 정확도 측면에서 수동으로 선택된 관절점에 비해 본 방법이 뛰어난 성능을 보였다.