[논문 리뷰] Deep Learning for Spacecraft Pose Estimation from Photorealistic Rendering

Pedro F. Proença|arXiv (Cornell University)|2019. 07. 09.

Space Satellite Systems and Control참고 문헌 34인용 수 38

한 줄 요약

논문은 URSO를 소개하고 단일 이미지에서 알려진 비협조 우주선의 6D 포즈를 추정하기 위한 확률적 방향 소프트 분류를 사용하는 딥러닝 프레임워크를 제시하며, ESA 도전 과제에서 높은 순위를 달성했다(합성 3위, 실제 2위).

ABSTRACT

On-orbit proximity operations in space rendezvous, docking and debris removal require precise and robust 6D pose estimation under a wide range of lighting conditions and against highly textured background, i.e., the Earth. This paper investigates leveraging deep learning and photorealistic rendering for monocular pose estimation of known uncooperative spacecrafts. We first present a simulator built on Unreal Engine 4, named URSO, to generate labeled images of spacecrafts orbiting the Earth, which can be used to train and evaluate neural networks. Secondly, we propose a deep learning framework for pose estimation based on orientation soft classification, which allows modelling orientation ambiguity as a mixture of Gaussians. This framework was evaluated both on URSO datasets and the ESA pose estimation challenge. In this competition, our best model achieved 3rd place on the synthetic test set and 2nd place on the real test set. Moreover, our results show the impact of several architectural and training aspects, and we demonstrate qualitatively how models learned on URSO datasets can perform on real images from space.

연구 동기 및 목표

• 다양한 조명과 지구 배경하에서 알려진 비협조 우주선의 단안 6D 포즈 추정을 동기화하고 가능하게 한다.
• 공간에 유사한 장면에서 DL 모델을 학습하고 평가하기 위한 포토리얼리스틱 데이터 생성기(URSO)를 제공한다.
• 방향 소프트 분류를 이용해 각도 모호성을 가우시안 혼합으로 모델링하는 자세 추정 프레임워크를 제안한다.
• 시뮬레이터-실제 도메인 전이의 효용성을 보여주고 성능에 영향을 미치는 아키텍처 및 학습 요인을 분석한다.

제안 방법

• Earth 텍스처와 깊이 마스크를 갖춘 레이블된 데이터를 위한 포토리얼리스틱한 우주선 이미지를 렌더링하는 Unreal Engine 4 기반의 시뮬레이터 URSO를 구축한다.
• 간소화된 엔드투엔드 포즈 추정 헤드를 갖춘 ResNet 기반 백본을 채택하고, 총 손실에 상대적 변환 손실과 방향 항을 사용한다.
• 가우시안 커널 인코딩(K)과 테스트 시 가중치 최소자승 회귀를 사용하는 이산화된 방향 공간에 대한 확률적 소프트 분류를 통한 방향 추정을 제안한다.
• 뷰가 애매할 때 여러 방향 가설을 회복하기 위해 EM 프레임워크를 통해 Gaussian Mixture Model을 적합시키는 다중 모드 방향 추정을 도입한다.
• 랜덤 카메라 섭동 및 시뮬-현실 후처리(그레이스케일 변환, 노출/대비 변화, AWG 노이즈, 흐림, 패치 드롭아웃)를 포함한 데이터 증강으로 학습한다.
• URSO 데이터세트와 ESA SPEED 벤치마크에서 평가하고 방향 회귀, 소프트 분류 및 다중모드 접근법을 비교한다.

실험 결과

연구 질문

• RQ1 포토리얼리스틱 Unity/UE4 기반 시뮬레이터가 알려진 우주선의 강건한 모노큘러 6D 포즈 추정을 가능하게 하는 레이블된 데이터를 제공할 수 있는가?
• RQ2 다양한 시야와 조명 하에서 포즈 추정을 위한 방향 소프트 분류(확률적, 가우시안 인코딩)가 직접 쿼터니언 회귀보다 우수한가?
• RQ3 데이터 증강과 시뮬레이션-실세계 전이가 실제 우주 영상에서의 성능에 어떤 영향을 미치는가?
• RQ4 다중 모드 방향 추정이 대칭적이거나 모호한 시야에서 지각적 모호성을 효과적으로 해결하는 데 도움이 되는가?

주요 결과

• URSO는 우주 포즈 추정을 위한 DL 모델 학습에 필요한 자세가 레이블된 현실적인 합성 데이터를 가능하게 한다.
• 방향 소프트 분류가 각도 정확도에서 직접 방향 회귀를 능가한다.
• 가우시안 혼합 모델(다중 모드)을 사용한 방향 모델링은 모호한 시야 처리를 개선하고 상위 2개 가설 탐지를 더 잘 수행한다.
• 데이터 증강은 특히 카메라 섭동 및 시뮬-현실 후처리가 시뮬-실세계 전이와 실제 이미지 정확도를 크게 향상시킨다.
• ESA SPEED 벤치마크에서 최상의 단일 모델은 0.1630 real error와 0.0604 synthetic error를 달성했고; 두 번째 모델은 0.144 real 및 0.067 synthetic을 달성했으며, 트리플 앙상블이 추가 향상을 제공하며(랭킹 세부 정보: synthetic 테스트 세트 3위, real 테스트 세트 2위).
• 이 접근법은 이미지 해상도와 네트워크 깊이에 민감하다는 것을 보여주며, 50-layer ResNet이 강한 성능을 제공하고 더 높은 해상도가 방향 추정에 도움이 된다.