[논문 리뷰] Pose Estimation for Non-Cooperative Rendezvous Using Neural Networks

S. K. Sharma, Simone D’Amico|arXiv (Cornell University)|2019. 06. 24.

Robotics and Sensor-Based Localization참고 문헌 37인용 수 13

한 줄 요약

이 논문은 단일 단일색 모노크로믹 그레이스케일 영상만을 사용하여 비협조적 우주선의 상대 자세(위치 및 자세)를 추정하는 딥러닝 기반 방법인 우주선 자세 네트워크(SPN)를 제안한다. SPN은 자세 추정을 위해 하이브리드 분류-회귀 방식을 사용하는 3개의 브랜치 컨볼루션 네트워크와 위치 추정을 위해 가우스-뉴턴 알고리즘을 활용한다. 실세계 우주 유사 영상에서 도드라진 정도 수준의 자세 정확도와 센티미터 수준의 위치 정확도를 달성하였으며, 훈련에 실질적인 데이터가 아닌 시뮬레이션 데이터만을 사용하였다.

ABSTRACT

This work introduces the Spacecraft Pose Network (SPN) for on-board estimation of the pose, i.e., the relative position and attitude, of a known non-cooperative spacecraft using monocular vision. In contrast to other state-of-the-art pose estimation approaches for spaceborne applications, the SPN method does not require the formulation of hand-engineered features and only requires a single grayscale image to determine the pose of the spacecraft relative to the camera. The SPN method uses a Convolutional Neural Network (CNN) with three branches to solve for the pose. The first branch of the CNN bootstraps a state-of-the-art object detector to detect a 2D bounding box around the target spacecraft. The region inside the bounding box is then used by the other two branches of the CNN to determine the attitude by initially classifying the input region into discrete coarse attitude labels before regressing to a finer estimate. The SPN method then uses a novel Gauss-Newton algorithm to estimate the position by using the constraints imposed by the detected 2D bounding box and the estimated attitude. The secondary contribution of this work is the generation of the Spacecraft PosE Estimation Dataset (SPEED). SPEED consists of synthetic as well as actual camera images of a mock-up of the Tango spacecraft from the PRISMA mission. The synthetic images are created by fusing OpenGL-based renderings of the spacecraft's 3D model with actual images of the Earth captured by the Himawari-8 meteorological satellite. The actual camera images are created using a 7 degrees-of-freedom robotic arm, which positions and orients a vision-based sensor with respect to a full-scale mock-up of the Tango spacecraft. The SPN method, trained only on synthetic images, produces degree-level attitude error and cm-level position errors when evaluated on the actual camera images not used during training.

연구 동기 및 목표

• 단일 모노크로믹 카메라 영상만을 사용하여 비협조적 우주선의 자율적 차량 내 자세 추정을 가능하게 한다.
• 수동으로 설계된 특징이 필요하고 조명 변화에 민감한 전통적인 특징 기반 방법의 한계를 극복한다.
• 시뮬레이션에서 학습하고 실제 환경 조건으로 일반화함으로써 우주선 자세 추정의 시뮬레이션에서 실세계로의 격차를 메운다.
• 우주 관련 조건에서 단일 영상 자세 추정 알고리즘의 훈련 및 평가를 위한 공개 가능한 고해상도 데이터셋(SPEED)을 개발한다.
• 기존 자세 지식이 없거나 복잡한 센서 융합이 필요 없이도 종단간 딥러닝이 고정밀 자세 추정을 달성할 수 있음을 입증한다.

제안 방법

• SPN 아키텍처는 3개의 브랜치 컨볼루션 신경망을 사용한다: 한 브랜치는 최신 객체 탐지 프레임워크를 활용해 대상 우주선의 2차원 경계상자 탐지를 수행한다.
• 다른 두 브랜치는 하이브리드 접근 방식을 통해 상대 자세를 추정한다: 먼저 거시적 자세를 이산적인 박스로 분류하고, 이후 회귀 헤드를 사용해 정밀한 추정치를 도출한다.
• 상대 위치는 2차원 경계상자와 추정된 자세를 활용해 3차원 위치를 풀기 위해 새로운 가우스-뉴턴 최적화 알고리즘을 사용한다.
• 이 방법은 히마와리-8의 실제 지구 영상과 탱고 우주선의 3차원 렌더링을 융합하여 생성된 시뮬레이션 영상만으로 훈련된다.
• 캘리브레이션된 조명을 갖춘 고유의 로봇 암 시스템이 궤도 조명 조건을 시뮬레이션하여 평가를 위한 실제 카메라 영상을 촬영한다.
• 훈련 과정에서는 데이터 증강 및 도메인 랜덤라이제이션 원칙을 적용하여 일반화 성능을 향상시켰지만, 모델은 시뮬레이션 데이터에 약간의 과적합을 보였다.

실험 결과

연구 질문

• RQ1 실세계 우주 유사 영상에서 실세계 미세조정 없이도 오직 시뮬레이션 데이터로만 훈련된 딥러닝 모델이 고정밀 자세 추정을 달성할 수 있는가?
• RQ2 직접 회귀 또는 순수 분류 대비 하이브리드 분류-회귀 접근 방식이 상대 자세 추정에 얼마나 효과적인가?
• RQ3 perspective 투영과 가우스-뉴턴 최적화를 통한 기하학적 제약 조건의 활용이 위치 추정 정확도를 얼마나 향상시키는가?
• RQ4 시뮬레이션 영상와 실세계 영상 간의 성능 격차는 어떤 정도이며, 이를 줄이기 위한 기법은 무엇인가?
• RQ5 실제 조명 및 촬영 조건을 반영한 공개 데이터셋(SPEED)이 단일 영상 기반 우주선 자세 추정에 신뢰할 수 있는 벤치마킹 기능을 수행할 수 있는가?

주요 결과

• SPEED 데이터셋의 실제 카메라 영상에서 평가한 결과, SPN은 시뮬레이션 데이터만으로 훈련되었음에도 불구하고 평균 상대 자세 오차가 1도 이하로 나타났다.
• 실제 테스트 세트에서 평균 상대 위치 오차는 10cm 이하로 낮아져 시뮬레이션에서 실세계로의 일반화 성능이 뛰어나다는 것을 입증하였다.
• 시뮬레이션 영상에서 실세계 영상으로의 성능 저하가 미미하여 자세 오차는 0.5도 이하, 위치 오차는 2cm 이하로 증가하였으며, 도메인 시프트에 대한 강건성을 보였다.
• 자세 분류 브랜치에서 출력된 확률 분포는 실세계 영상에서 시뮬레이션 영상보다 낮은 피크 신뢰도를 보이며, 시뮬레이션 훈련 분포에 대한 과적합을 시사한다.
• 경계상자 탐지 성분은 우수한 성능을 보였으며, 횡방향 위치 오차는 축방향 오차보다 한 단계 낮은 수준이었고, 중심 추정이 정확하다는 것을 시사한다.
• 부분적으로 가려진 목표물에 대해서도 효과적으로 일반화되지만, 매우 가까운 거리에서 우주선이 부분적으로만 보일 경우 성능이 저하됨을 확인하여, 가림 처리에 대한 향상이 필요함을 시사한다.