[논문 리뷰] SPEED+: Next-Generation Dataset for Spacecraft Pose Estimation across Domain Gap

Tae Ha Park, Marcus Märtens외 3명|arXiv (Cornell University)|2021. 10. 06.

Space Satellite Systems and Control참고 문헌 46인용 수 132

한 줄 요약

SPEED+는 합성 학습 이미지와 실제 하드웨어 인 더 루프(Hardware-in-the-Loop, HIL) 테스트 이미지 사이의 도메인 갭을 해소하는 차세대 위성 자세 추정 데이터셋을 제공한다. 60,000장의 합성 이미지와 스탠포드 대학의 SLAB에서 TRON 테스트베드를 통해 실제 우주 기준 조명 조건과 자세 조건에서 촬영한 9,531장의 고해상도 HIL 이미지를 조합함으로써, 시각 기반 기계학습 모델의 강건한 평가를 가능하게 하며, 이전 데이터셋인 SPEED에 비해 일반화 및 도메인 적응 성능을 크게 향상시킨다.

ABSTRACT

Autonomous vision-based spaceborne navigation is an enabling technology for future on-orbit servicing and space logistics missions. While computer vision in general has benefited from Machine Learning (ML), training and validating spaceborne ML models are extremely challenging due to the impracticality of acquiring a large-scale labeled dataset of images of the intended target in the space environment. Existing datasets, such as Spacecraft PosE Estimation Dataset (SPEED), have so far mostly relied on synthetic images for both training and validation, which are easy to mass-produce but fail to resemble the visual features and illumination variability inherent to the target spaceborne images. In order to bridge the gap between the current practices and the intended applications in future space missions, this paper introduces SPEED+: the next generation spacecraft pose estimation dataset with specific emphasis on domain gap. In addition to 60,000 synthetic images for training, SPEED+ includes 9,531 hardware-in-the-loop images of a spacecraft mockup model captured from the Testbed for Rendezvous and Optical Navigation (TRON) facility. TRON is a first-of-a-kind robotic testbed capable of capturing an arbitrary number of target images with accurate and maximally diverse pose labels and high-fidelity spaceborne illumination conditions. SPEED+ is used in the second international Satellite Pose Estimation Challenge co-hosted by SLAB and the Advanced Concepts Team of the European Space Agency to evaluate and compare the robustness of spaceborne ML models trained on synthetic images.

연구 동기 및 목표

• 시뮬레이션 학습 이미지와 실제 우주 환경에서의 시각적 특성 간 격차를 해소하기 위해, 실제 우주 조건을 반영한 대규모 벤치마크 데이터셋을 제공함으로써 위성 자세 추정 문제를 해결한다.
• 순수하게 합성된 데이터셋의 한계를 극복하기 위해, 실제 공간 환경에서의 시각적 다양성과 조명 변화를 충분히 반영하지 못하는 문제를 해결한다.
• 물리적으로 촬영된 HIL 이미지와 정확한 자세 레이블을 활용하여 도메인 이동에 따른 모델 강건성에 대한 종합적이고 정량적인 평가를 가능하게 한다.
• 향후 궤도 서비스 및 우주 물류 임무를 위한 도메인 일반화 및 적응 기법의 개발과 검증을 지원한다.

제안 방법

• 데이터셋은 OpenGL 기반 렲팅을 통해 생성한 60,000장의 합성 이미지와 스탠포드 대학의 SLAB에서 운영되는 TRON 로봇 테스트베드에서 촬영한 9,531장의 실제 HIL 이미지를 조합한다.
• TRON 시설은 지구 반사광과 직사광선을 포함한 정확하고 다양한 자세 레이블 및 고해상도 조명 조건을 제공하여 우주 기준 환경을 재현한다.
• HIL 이미지는 내부 파rameters가 알려진 캘리브레이션된 Point Grey Grasshopper 3 카메라를 사용하여 촬영되어 기하학적 정확도를 확보한다.
• 데이터셋은 'lightbox'과 'sunlamp'이라는 두 가지 별도의 HIL 도메인을 포함하며, 각각 다른 조명 조건을 시뮬레이션하여 모델의 강건성 테스트를 가능하게 한다.
• 일관된 평가를 위해 표준화된 카메라 모델과 캘리브레이션 파rameters(fx, fy, px, py, 왜곡)가 제공된다.
• 성능 기준을 설정하기 위해 SPN, KRN, HigherHRNet 등의 기본 모델과 DANN, 스타일 증강 등의 도메인 적응 기법을 데이터셋에 구현하고 평가하였다.

실험 결과

연구 질문

• RQ1 합성 학습 데이터에서 실존하는 HIL 테스트 이미지로의 전이 시 모델 성능가 어떻게 저하되는가? 그리고 위성 자세 추정에서 도메인 갭의 크기는 어느 정도인가?
• RQ2 기존의 도메인 적응 기법들(DANN, 스타일 증강 등)이 합성 이미지와 실제 HIL 이미지 간 성능 격차를 어느 정도 해소할 수 있는가?
• RQ3 HIL 도메인 내 다양한 조명 조건(예: 직사광선 대비 산산이 흩어진 빛)이 자세 추정 모델의 일반화 능력에 어떤 영향을 미치는가?
• RQ4 제안된 HIL 이미지 컬렉션은 궤도 배치 이전에 모델 강건성 검증을 위한 실제 우주 기반 영상의 신뢰할 수 있는 대체 자료로 기능할 수 있는가?

주요 결과

• SPEED+는 이전 데이터셋인 SPEED에 비해 현실성과 다양성 면에서 뚜렷한 향상을 보이며, 9,531장의 고해상도 HIL 이미지를 통해 전체 자세 공간과 최대 10미터 거리까지의 다양한 조건을 포괄한다.
• 합성 이미지와 HIL 이미지 사이의 도메인 갭은 상당히 크며, 합성 데이터로 학습된 기본 모델은 HIL 테스트 세트에서 성능 저하가 심하게 나타난다.
• DANN 및 스타일 증강과 같은 도메인 적응 기법은 도메인 갭을 감소시켜, 다양한 테스트 도메인에서 평균적으로 평균 회전 오차를 최대 40%까지 개선한다.
• 적외선 마커, 장착 구멍, 표면 빛 반사 등의 실제 요소들이 HIL 이미지에 그대로 유지되어 데이터셋의 정밀도와 실제 적용 가능성을 향상시켰다.
• 이 데이터셋은 다양한 조명 및 자세 조건에서 모델 강건성에 대한 정량적 평가를 가능하게 하여, 향후 궤도 비행에서 더 신뢰할 수 있는 자율 항법 시스템 개발을 지원한다.
• Kelvins 플랫폼과 Zenodo를 통해 CC BY-NC-SA 4.0 라이선스 하에 공개되어 있어 연구 공동체의 광범위한 접근성과 재현 가능성이 보장된다.