[논문 리뷰] Robotic Testbed for Rendezvous and Optical Navigation: Multi-Source Calibration and Machine Learning Use Cases

Tae Ha Park, Juergen Bosse외 1명|arXiv (Cornell University)|2021. 08. 12.

Space Satellite Systems and Control인용 수 8

한 줄 요약

이 논문은 고정밀 시뮬레이션 영상과 밀리미터 수준의 자세 정확도를 활용하여 궤도상 광학 항법을 위한 기계 학습 알고리즘을 검증하기 위한 로봇 시험기인 TRON을 제시한다. TRON이 생성한 영상은 합성 영상과 실제 궤도상 영상 간의 심각한 도메인 갭을 드러내며, 실제 조명 조건과 시야 조건 하에서 합성 데이터로 훈련된 CNN의 강건성 검증이 가능하다.

ABSTRACT

This work presents the most recent advances of the Robotic Testbed for Rendezvous and Optical Navigation (TRON) at Stanford University - the first robotic testbed capable of validating machine learning algorithms for spaceborne optical navigation. The TRON facility consists of two 6 degrees-of-freedom KUKA robot arms and a set of Vicon motion track cameras to reconfigure an arbitrary relative pose between a camera and a target mockup model. The facility includes multiple Earth albedo light boxes and a sun lamp to recreate the high-fidelity spaceborne illumination conditions. After the overview of the facility, this work details the multi-source calibration procedure which enables the estimation of the relative pose between the object and the camera with millimeter-level position and millidegree-level orientation accuracies. Finally, a comparative analysis of the synthetic and TRON simulated imageries is performed using a Convolutional Neural Network (CNN) pre-trained on the synthetic images. The result shows a considerable gap in the CNN's performance, suggesting the TRON simulated images can be used to validate the robustness of any machine learning algorithms trained on more easily accessible synthetic imagery from computer graphics.

연구 동기 및 목표

• 기계 학습 알고리즘을 검증하기 위해 실제 궤도상 광학 항법 조건을 시뮬레이션할 수 있는 로봇 시험기 개발
• 궤도상 실제 영상과 합성 훈련 데이터 간의 도메인 갭을 해결하여 궤도에서 CNN 성능 저하 문제 해결
• 실제 궤도상 영상에 접근할 수 없더라도 지상에서 CNN의 강건성 검증 가능하게 하기
• 실제 조명(태양 램프 및 알베도 상자)과 질감이 있는 목표물 모의체를 통합하여 시뮬레이션 영상의 정밀도 향리
• 다양하고 현실적인 궤도 환경을 반영하는 다음 세대 데이터셋(SPEED+)을 만들기

제안 방법

• TRON 시설은 카메라와 목표물 모의체 간의 상대 자세를 밀리미터 수준 정확도로 정밀하게 재구성하기 위해 두 대의 6-DOF KUKA 로봇 암을 사용한다.
• KUKA 로봇 인코더와 Vicon 동작 추적 카메라의 데이터를 융합하는 다중 소스 캘리브레이션을 통해 진정된 상대 자세를 하위 밀리미터 및 밀리도 수준 정밀도로 추정한다.
• 10개의 지구 알베도 조명 상자와 수은 할라이드 태양 램프를 포함하여 산란 및 직접적인 궤도 유사 조명 조건을 시뮬레이션한다.
• 다양한 조명 조건(태양 램프 대비 알베도), 시야 각도(태양 전지판 대비 뒷면 패널), 자세 구성 조건에서 고정밀 시뮬레이션 영상을 촬영한다.
• 사전 훈련된 CNN을 합성(SPEED) 및 TRON 시뮬레이션 영상에 대해 평가하여 SPEED 점수 지표를 사용해 도메인 갭을 정량화한다.
• 데이터 융합 및 기각 기준을 개선하여 Vicon 측정에 의존도를 줄이고 캘리브레이션 일관성 향상

실험 결과

연구 질문

• RQ1 로봇 시험기로 충분한 정밀도를 갖춘 시뮬레이션 영상을 생성하여 합성 영상과 실제 궤도상 영상 간의 도메인 갭을 드러낼 수 있는가?
• RQ2 조명 현실성(태양 램프 대비 알베도)은 합성 데이터로 훈련된 CNN과 시뮬레이션 데이터로 테스트된 CNN 간의 성능 격차에 어떤 영향을 미치는가?
• RQ3 목표물 모의체의 표면 질감(예: 뒷면 패널 대비 태양 전지판)은 CNN 성능의 도메인 갭에 영향을 미치는가?
• RQ4 TRON 시뮬레이션 영상은 얼마나 효과적으로 합성 데이터로 훈련된 CNN의 강건성을 검증하는 데 사용될 수 있는가?
• RQ5 TRON 시설은 알고리즘 검증을 위한 알려지지 않은 궤도상 도메인을 더 잘 반영하는 다음 세대 데이터셋(SPEED+)의 생성을 가능하게 하는가?

주요 결과

• KUKA 및 Vicon 시스템의 다중 소스 캘리브레이션을 통해 TRON은 상대 자세 추정에서 밀리미터 수준의 위치 정확도와 밀리도 수준의 자세 정확도를 달성한다.
• 합성 SPEED 영상로 사전 훈련된 CNN은 TRON 시뮬레이션 영상에서 유의미하게 열악한 성능을 보이며, 심각한 도메인 갭이 있음을 확인한다.
• 도메인 갭은 태양 램프 조명 조건과 탄고 모의체의 질감 있는 뒷면 패널을 볼 때 가장 두드러지게 나타나며, 이러한 조건에서 더 높은 현실성이 있음을 시사한다.
• TRON에서 생성된 시뮬레이션 영상들은 고정밀 조명과 복잡한 표면 질감을 사용할 경우 도메인 이동를 식별하고 정량화하는 데 효과적이다.
• 태양 램프와 뒷면 패널 시야는 도전도와 현실성을 높여 강건성 테스트에 이상적인 구성 조건이다.
• TRON은 고정밀 시뮬레이션 영상 약 10,000장을 포함하는 다음 세대 데이터셋인 SPEED+를 생성할 수 있으며, 이는 현실적인 궤도 조건에서 시각 기반 항법 시스템의 훈련 및 검증에 사용된다.