[논문 리뷰] Towards Robust Learning-Based Pose Estimation of Noncooperative Spacecraft

Tae Ha Park, S. K. Sharma외 1명|arXiv (Cornell University)|2019. 09. 01.

Space Satellite Systems and Control인용 수 40

한 줄 요약

이 논문은 우주선의 2D 바운딩 박스를 감지하고 2D 키포인트를 회귀한 뒤, PnP를 해결하여 6D 자세를 얻는 Compact CNN 아키텍처를 제시하며, 합성-현장 간 간극을 좁히기 위한 텍스처 랜덤화도 도입한다.

ABSTRACT

This work presents a novel Convolutional Neural Network (CNN) architecture and a training procedure to enable robust and accurate pose estimation of a noncooperative spacecraft. First, a new CNN architecture is introduced that has scored a fourth place in the recent Pose Estimation Challenge hosted by Stanford's Space Rendezvous Laboratory (SLAB) and the Advanced Concepts Team (ACT) of the European Space Agency (ESA). The proposed architecture first detects the object by regressing a 2D bounding box, then a separate network regresses the 2D locations of the known surface keypoints from an image of the target cropped around the detected Region-of-Interest (RoI). In a single-image pose estimation problem, the extracted 2D keypoints can be used in conjunction with corresponding 3D model coordinates to compute relative pose via the Perspective-n-Point (PnP) problem. These keypoint locations have known correspondences to those in the 3D model, since the CNN is trained to predict the corners in a pre-defined order, allowing for bypassing the computationally expensive feature matching processes. This work also introduces and explores the texture randomization to train a CNN for spaceborne applications. Specifically, Neural Style Transfer (NST) is applied to randomize the texture of the spacecraft in synthetically rendered images. It is shown that using the texture-randomized images of spacecraft for training improves the network's performance on spaceborne images without exposure to them during training. It is also shown that when using the texture-randomized spacecraft images during training, regressing 3D bounding box corners leads to better performance on spaceborne images than regressing surface keypoints, as NST inevitably distorts the spacecraft's geometric features to which the surface keypoints have closer relation.

연구 동기 및 목표

• 딥 러닝을 이용한 비협조적 우주선의 단일 카메라 포즈 추정의 강건성 동기 부여.
• 실시간 추론을 위해 탐지와 키포인트 기반 포즈 추정을 분리한 Compact 아키텍처를 제안.
• 합성-현장 간 도메인 간극을 좁히기 위한 텍스처 랜덤화를 조사.
• 조도, 가림, 그리고 서로 다른 우주선 간 거리에서의 강건성 평가.

제안 방법

• YOLOv3를 기반으로 한 MobileNetv2 및 depth-wise separable convolution을 사용한 객체 탐지 네트워크(ODN)로 2D 바운딩 박스 탐지.
• 탐지된 박스 주변의 RoI를 잘라 2D 키포인트 위치를 회귀하는 Keypoints Regression Network(KRN)를 사용, 11개로 미리 정의된 3D 키포인트를 활용.
• 회 recovered된 3D 키포인트와 2D 키포인트를 이용해 EPnP를 해결하여 6D 포즈를 계산.
• 강건성을 높이기 위해 합성 데이터로 학습하고, 합성-현장 간 간극을 좁히기 위한 Neural Style Transfer를 통한 텍스처 랜덤화를 도입.
• 선택적으로 와이어프레임이나 학습 데이터로부터 재투영 기반 최적화를 통해 3D 키포인트를 회복.
• IoU, 변위(translation) 및 회전 오차, 그리고 SLAB/ESA 포즈 점수로 성능을 보고.

실험 결과

연구 질문

• RQ1 CNN 기반의 분리형 파이프라인(탐지 후 키포인트 회귀)이 단일 이미지에서 실시간으로 강건한 6D 포즈 추정을 달성할 수 있는가?
• RQ2 공간선 데이터의 경우 2D 키포인트 위치 회귀가 3D 바운딩 박스 코너 회귀보다 어떤 차이를 보이는가?
• RQ3 NST를 이용한 텍스처 랜덤화가 합성 이미지에서 현장 이미지로의 일반화에 도움이 되는가?
• RQ4 합성 및 실제 우주선 데이터셋에서 제안된 아키텍처의 정확도와 속도 간의 트레이드오프는 어떠한가?

주요 결과

• SPEED 합성 검증에서 ODN의 평균 IoU는 0.919이다.
• 평균 변위 오차 E_T는 상위 케이스에서 0.01–0.011 m 미만이며, 다른 케이스에서 약 0.124–0.210 m, 평균 회전 오차 E_R은 약 3.1도이다.
• SPEED 합성 검증에서 SLAB/ESA 점수는 0.073으로 Challenge에서 4위이다.
• ODN과 KRN의 전체 파이프라인 추론은 GPU에서 약 70 FPS, CPU에서 약 4 FPS이다.
• KRN 변형인 2D 키포인트 회귀(KRN-SK) 또는 3D 바운딩 박스 코너 회귀(KRN-BB)는 거리 3–30+ m 및 조도 변화에서 강건한 성능을 보이며, ODN은 최악의 경우에도 높은 IoU를 제공한다.
• 텍스처 랜덤화(PRISMA12K-TR)은 현장 일반화를 향상시키며, 최적의 TR 설정은 최적 에포크 동안 PRISMA25의 SLAB/ESA 점수를 TR=0 대비 낮춘다.