[논문 리뷰] Learning Markerless Robot-Depth Camera Calibration and End-Effector Pose Estimation

Bugra C. Sefercik, Barış Akgün|arXiv (Cornell University)|2022. 12. 15.

Advanced Vision and Imaging인용 수 4

한 줄 요약

이 논문은 시뮬레이션과 피드셜 마커를 사용하지 않고 실제 세계 데이터만을 사용하여 로봇 암과 깊이 카메라 간의 외부 캘리브레이션을 학습 기반으로 마커리스하게 수행하는 방법을 제안한다. 딥 러닝을 통해 종단 효과기의 세그먼테이션, 회전 예측, 키포인트 검출을 수행하고 ICP 정밀 조정 및 다중 프레임 융합을 통해 1cm 미만 및 1도 미만의 정확도를 달성하며, 높은 성능을 위해 단일 학습 자세만으로도 충분하다.

ABSTRACT

Traditional approaches to extrinsic calibration use fiducial markers and learning-based approaches rely heavily on simulation data. In this work, we present a learning-based markerless extrinsic calibration system that uses a depth camera and does not rely on simulation data. We learn models for end-effector (EE) segmentation, single-frame rotation prediction and keypoint detection, from automatically generated real-world data. We use a transformation trick to get EE pose estimates from rotation predictions and a matching algorithm to get EE pose estimates from keypoint predictions. We further utilize the iterative closest point algorithm, multiple-frames, filtering and outlier detection to increase calibration robustness. Our evaluations with training data from multiple camera poses and test data from previously unseen poses give sub-centimeter and sub-deciradian average calibration and pose estimation errors. We also show that a carefully selected single training pose gives comparable results.

연구 동기 및 목표

• 로봇-깊이 카메라 외부 캘리브레이션에서 피드셜 마커와 시뮬레이션 데이터에 대한 의존도를 제거하기 위해.
• 학습을 위한 자동화된 실제 세계 데이터 수집 및 자기 지도 레이블링을 가능하게 하기 위해.
• 깊이 데이터와 딥 러닝만을 사용하여 고정밀 종단 효과기 자세 추정 및 캘리브레이션을 달성하기 위해.
• 동적 또는 저비용 로봇 설정에 적합한 견고하고 재사용 가능한 캘리브레이션 시스템을 개발하기 위해.

제안 방법

• 시스템은 깊이 포인트 클라우드에서 종단 효과기, 로봇, 배경을 세그먼테이션하기 위해 MinkUNet18D 기반의 네트워크를 사용한다.
• 회전 예측 헤드는 변환 기법을 활용하여 6-DoF 자세를 회전 예측에서 유도한다.
• 키포인트 검출 네트워크는 종단 효과기 상의 3차원 랜드마크를 식별하며, 자세는 수직 프로크루스테스 분석(RPT)을 통해 추정한다.
• 다중 프레임 자세 추정치는 반복 최소 제곱법(Iterative Closest Point, ICP) 알고리즘을 사용하여 융합되어 캘리브레이션 정밀도를 향상시키고 노이즈를 감소시킨다.
• 이상치 탐지 및 필터링을 적용하여 다양한 카메라 자세와 조건에서도 견고성을 향상시킨다.
• 로봇을 다양한 관절 구성을 통해 이동시켜 학습 데이터를 자동으로 수집하며, 초기 캘리브레이션은 데이터 수집용으로만 사용된다.

실험 결과

연구 질문

• RQ1 마커리스이고 시뮬레이션 없이도 로봇과 깊이 카메라 간의 고정밀 외부 캘리브레이션을 달성할 수 있는가?
• RQ2 합성 데이터 없이도 실제 세계 데이터만으로도 예측되지 않은 카메라 자세에 대해 일반화 가능한 모델을 훈련시킬 수 있는가?
• RQ3 다중 프레임 ICP 정밀 조정은 캘리브레이션의 견고성과 정확도를 어떻게 향상시키는가?
• RQ4 단일 학습 자세가 다중 자세 학습에 비해 얼마나 유사한 캘리브레이션 성능을 제공할 수 있는가?
• RQ5 깊이 데이터만을 사용하여 종단 효과기 세그먼테이션과 자세 추정을 동시에 고정밀도로 학습시킬 수 있는가?

주요 결과

• 다양한 테스트 자세에서 평균 캘리브레이션 오차가 0.74 cm와 1.69°로 나타나, 이전에 본 적 없는 카메라 구성에서도 성능을 유지한다.
• 종단 효과기 자세 추정의 평균 오차는 1.0 cm와 2.74°에 도달하여 실시간 자세 추정의 고정밀도를 입증한다.
• 단일으로 신중하게 선택된 학습 자세만으로도 다중 자세 학습과 유사한 캘리브레이션 성능을 달성하여 설정 복잡도를 감소시킨다.
• ICP 알고리즘이 추정 성능을 크게 향상시켜 사용된 깊이 카메라의 물리적 한계에 가까운 결과를 도출한다.
• 로봇과 종단 효과기를 고품질로 세그먼테이션하여 후속 인식 작업에 기여한다.
• 초기 캘리브레이션이 정확하고 정방향 운동학 오차를 고려할 경우, 센서 노이즈와 기계적 오차에 대해 견고하다.