[논문 리뷰] Spacecraft Pose Estimation Based on Unsupervised Domain Adaptation and on a 3D-Guided Loss Combination

Juan Ignacio Bravo Pérez-Villar, Álvaro García‐Martín외 1명|arXiv (Cornell University)|2022. 12. 27.

Space Satellite Systems and Control인용 수 4

한 줄 요약

이 논문은 인공위성 자세 추정을 위한 3D 가이드 손실 조합 및 비지도 도메인 적응(UDA) 방법을 제안하며, 시뮬레이션된 환경과 실제 환경 간의 도메인 시프트 문제를 해결하기 위해 합성 데이터를 활용한다. 이 방법은 2021년 ESA-Stanford 자세 추정 챌린지에서 태양 램프와 라이트박스 테스트 세트 모두에서 평균 오차가 가장 낮아 2위를 기록했으며, 조명 변화와 반사에 대해 강건함을 입증한다.

ABSTRACT

Spacecraft pose estimation is a key task to enable space missions in which two spacecrafts must navigate around each other. Current state-of-the-art algorithms for pose estimation employ data-driven techniques. However, there is an absence of real training data for spacecraft imaged in space conditions due to the costs and difficulties associated with the space environment. This has motivated the introduction of 3D data simulators, solving the issue of data availability but introducing a large gap between the training (source) and test (target) domains. We explore a method that incorporates 3D structure into the spacecraft pose estimation pipeline to provide robustness to intensity domain shift and we present an algorithm for unsupervised domain adaptation with robust pseudo-labelling. Our solution has ranked second in the two categories of the 2021 Pose Estimation Challenge organised by the European Space Agency and the Stanford University, achieving the lowest average error over the two categories.

연구 동기 및 목표

• 데이터 기반 모델 훈련을 위한 실세계 궤도 상 인공위성 자세 데이터의 부족 문제 해결.
• 조명, 반사, 배경 조건의 차이로 인해 발생하는 합성 훈련 데이터와 실세계 테스트 데이터 간의 도메인 시프트 문제 극복.
• 강한 반사와 변동하는 조명 조건과 같은 어려운 우주 환경에서도 자세 추정의 강건성 향상.
• 목표 데이터에 진짜 레이블이 없을 때도 신뢰할 수 있는 가짜 레이블을 생성할 수 있는 비지도 도메인 적응 전략 개발.
• 두 가지 다른 실세계 테스트 시나리오에서 2021년 인공위성 자세 추정 챌린지(SPEC2021)에서 최신 기술 수준의 성능 달성.

제안 방법

• 2D 히트맵 손실과 3D 자세 정렬 손실을 조합한 3D 가이드 손실을 통해 3D 구조 정보를 손실 함수에 통합하여 밝기 도메인 시프트 상황에서도 일반화 성능 향상.
• 이중 단계 파이프라인 적용: 첫 번째로 CNN(예: HRNet)을 통해 2D 키포인트 히트맵 예측, 두 번째로 2D-3D 대응 관계에서 PnP를 사용해 6-DoF 자세 추정.
• RANSAC-EPnP를 사용해 반복적인 가짜 레이블링을 통해 비지도 도메인 적응 적용, 레이블이 없는 목표 이미지에 대한 신뢰성 있는 자세 예측 생성.
• 자기 훈련 루프 구현: 고신뢰도 가짜 레이블이 부여된 목표 샘플을 기반으로 모델 재훈련하며, 재투영 오차 임계값을 동적으로 조절해 레이블 품질 제어.
• 검증 기반 조기 정지 기준과 신뢰도 필터링을 통해 가짜 레이블링 중 노이즈 누적 방지.
• 합성 SPEED+ 데이터셋(60,000장)에서 훈련하고, 도메인 적응과 적응형 임계값을 사용해 목표 데이터셋(Sunlamp 및 Lightbox)에서 미세조정.

실험 결과

연구 질문

• RQ1 조명과 반사의 차이로 인한 도메인 시프트 상황에서 3D 기하학적 구조를 손실 함수에 통합하면 자세 추정의 강건성이 향상되는가?
• RQ2 실제 목표 레이블이 없을 경우 강력한 가짜 레이블링을 통한 비지도 도메인 적응이 인공위성 자세 추정에 얼마나 효과적인가?
• RQ3 가짜 레이블링 과정에서 재투영 오차 임계값을 동적으로 조절하면 태양 램프와 라이트박스와 같은 시각적으로 다양한 테스트 세트에서 성능 향상이 이루어지는가?
• RQ4 합성 데이터에서 훈련된 단일 모델이 강한 반사와 복잡한 배경을 가진 실세계 테스트 시나리오로 효과적으로 일반화되는가?
• RQ5 3D 가이드 손실이 어려운 우주 조건에서 위치 오차와 자세 오차를 줄이는 데 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 2021년 SPEC2021 챌린지에서 태양 램프와 라이트박스 테스트 세트 모두에서 평균 오차가 두 번째로 낮았으며, 전체 평균 점수로는 가장 높았다.
• 태양 램프 데이터셋에서 총 오차는 1.0692로, 기준선인 1.2324보다 유의미하게 낮았다.
• 라이트박스 데이터셋에서 총 오차는 1.0546으로, 기준선인 1.1823보다 뛰어났다.
• 3D 가이드 손실의 사용으로 도메인 시프트가 발생하더라도 목표 도메인에서의 오차가 감소하여 일반화 성능 향상이 이루어졌다.
• 재투영 오차 임계값을 2.0에서 1.0로 적응적으로 조정한 반복적 가짜 레이블링은 라이트박스 세트에서 더 느리지만 더 안정적인 가짜 레이블 수 증가를 이끌었으며, 최종 성능는 고정 임계값과 유사했다.
• 이 방법은 두 데이터셋 모두에서 높은 성능를 유지해 조명 변화와 배경 복잡성의 다양성에 대해 강력한 강건성을 보였다.