[논문 리뷰] Real-Time, Flight-Ready, Non-Cooperative Spacecraft Pose Estimation Using Monocular Imagery

Kevin P. Black, Shrivu Shankar외 4명|arXiv (Cornell University)|2021. 01. 23.

Space Satellite Systems and Control참고 문헌 28인용 수 22

한 줄 요약

이 논문은 실시간으로 비협력적 우주선의 자세 추정을 가능하게 하는 실용적인 단안 카메라 시스템을 제안한다. 이 시스템은 유일하게 합성 데이터로 훈련된 경량 컨volution 신경망(CNN) 아키텍처를 사용하며, 실제 궤도상 영상에서 노스롭 그룸만 업그레이드드 사이기누스 우주선에 대해 최신 기술 수준의 정확도를 달성한다. 이 시스템은 저전력 비행 유사 하드웨어에서 6.6 Hz로 작동하여 실제 데이터 없이도 강건한 일반화 능력과 실시간 성능를 입증한다.

ABSTRACT

A key requirement for autonomous on-orbit proximity operations is the estimation of a target spacecraft's relative pose (position and orientation). It is desirable to employ monocular cameras for this problem due to their low cost, weight, and power requirements. This work presents a novel convolutional neural network (CNN)-based monocular pose estimation system that achieves state-of-the-art accuracy with low computational demand. In combination with a Blender-based synthetic data generation scheme, the system demonstrates the ability to generalize from purely synthetic training data to real in-space imagery of the Northrop Grumman Enhanced Cygnus spacecraft. Additionally, the system achieves real-time performance on low-power flight-like hardware.

연구 동기 및 목표

• 작은 위성의 엄격한 전력 및 질량 제약 조건을 고려해 실시간으로 작동하며 계산 비용이 낮은 자세 추정 시스템을 개발하는 것.
• 실제 궤도에서 레이블이 부여된 영상의 희소성 문제를 피하기 위해 유일하게 합성 훈련 데이터를 사용해 비협력적 우주선의 정확한 자세 추정을 가능하게 하는 것.
• 인텔 저울 570x 단일 보드 컴퓨터와 같은 저전력 비행 유사 하드웨어에서 실시간으로 작동하도록 보장하는 것.
• 낮은 신호 대 잡음비, 변동하는 조명 조건, 복잡한 배경 등 어려운 우주 영상 조건에 대한 강건성을 향상시키는 것.
• 신뢰할 수 없는 자세 추정을 걸러내는 오차 예측 모듈을 통합해 시스템 신뢰도를 향상시키는 것.

제안 방법

• 시스템은 객체 검출, 키포인트 회귀, 투시변환-점(PnP) 자세 해법의 세 단계로 구성된 CNN 파이프라인을 사용한다.
• 유일한 오차 예측 네트워크는 불확실성을 추정하고 낮은 품질의 자세 추정을 거부할 수 있도록 표시한다.
• Bl렌더의 사이클스 엔진을 사용해 실제적인 열화 요소(노이즈, 블러, 조명 변화 등)를 포함한 합성 영상을 생성하여 일반화 능력을 향상시킨다.
• 모델 전체가 실제 영상 없이 노스롭 그룸만 업그레이드드 사이기누스 우주선의 합성 데이터에서 엔드 투 엔드로 훈련된다.
• x86 아키텍처를 대상으로 OpenVINO를 사용해 추론 최적화를 수행해 저전력 프로세서에서 성능을 크게 향상시켰다.
• 하드웨어 성능은 나사 서치어 큐브샛 미션에 사용된 검증된 COTS 단일 보드 컴퓨터인 인텔 저울 570x에서 벤치마크되었다.

실험 결과

연구 질문

• RQ1 유일하게 합성 데이터로 훈련된 단안 자세 추정 시스템이 비협력적 우주선의 실제 궤도 영상으로 효과적으로 일반화될 수 있는가?
• RQ2 경량 CNN 기반 아키텍처가 저전력, 방사선 민감도가 높은 비행 하드웨어에서 실시간 성능(≥1 Hz)을 달성할 수 있는가?
• RQ3 불확실성 인식 오차 예측 모듈의 통합이 잘못된 자세 추정을 걸러내는 데 얼마나 효과적인가?
• RQ4 실제 우주 영상 조건에 대한 강건성을 향상시키기 위해 실제 영상 열화 요소를 포함한 합성 데이터 증강이 어느 정도 효과적인가?
• RQ5 인텔 저울 570x와 같은 비행 대체 하드웨어에서 자세 추정 시스템의 추론 속도와 전력 소모는 어느 정도인가?

주요 결과

• 시스템은 SPEED 데이터셋에서 최신 기술 수준의 정확도를 달성하여 유럽우주국 탱고 우주선의 합성 데이터에서 뛰어난 성능을 입증했다.
• 실제 영상 훈련 데이터 없이도 시스템은 노스롭 그룸만 업그레이드드 사이기누스 우주선의 실제 영상으로 효과적으로 일반화되며, 어려운 시야 조건에서 중앙값 회전 오차는 17.5°, 이동 오차는 0.105 m를 기록했다.
• 인텔 저울 570x 단일 보드 컴퓨터에서 OpenVINO 최적화 후 시스템은 6.6 Hz로 작동하여 비행 대체 하드웨어에서 실시간 성능를 확보했다.
• 오차 예측 네트워크는 잘못된 추정을 성공적으로 식별하고 거부했으며, 한 실패 케이스에서는 예측 오차가 86로 높은 불확실성을 나타냈다.
• 추론 시간은 텐서플로우의 1.777초에서 OpenVINO로 0.152초로 감소해 10배의 속도 향상을 달성했으며, 열 평형 상태에서 일관된 3.7W 전력 소모를 기록했다.
• 시스템은 회전 대칭 문제와 복잡한 배경에 대해 강건성을 보이며, 로고와 같은 주요 시각적 특징이 가려져 있어도 성능이 유지되었다.