[논문 리뷰] 3D Reconstruction of Non-cooperative Resident Space Objects using Instant NGP-accelerated NeRF and D-NeRF

Basilio Caruso, Trupti Mahendrakar외 3명|arXiv (Cornell University)|2023. 01. 22.

Space Satellite Systems and Control인용 수 4

한 줄 요약

이 논문은 다양한 조명 및 운동 조건에서 촬영된 2D 이미지를 사용하여 비협력적 지구저지궤도위행성물체(RSOs)를 위한 고해상도 3D 재구성 파이프라인을 제안한다. Instant NGP 가속화된 NeRF와 D-NeRF를 활용하여 실시간 추론과 궤도상 구현 가능성을 확보하였으며, 고품질의 3D 모델링을 실현하였다. 이는 궤도상 우주선 시스템에 적합한 계산 효율성을 제공한다.

ABSTRACT

The proliferation of non-cooperative resident space objects (RSOs) in orbit has spurred the demand for active space debris removal, on-orbit servicing (OOS), classification, and functionality identification of these RSOs. Recent advances in computer vision have enabled high-definition 3D modeling of objects based on a set of 2D images captured from different viewing angles. This work adapts Instant NeRF and D-NeRF, variations of the neural radiance field (NeRF) algorithm to the problem of mapping RSOs in orbit for the purposes of functionality identification and assisting with OOS. The algorithms are evaluated for 3D reconstruction quality and hardware requirements using datasets of images of a spacecraft mock-up taken under two different lighting and motion conditions at the Orbital Robotic Interaction, On-Orbit Servicing and Navigation (ORION) Laboratory at Florida Institute of Technology. Instant NeRF is shown to learn high-fidelity 3D models with a computational cost that could feasibly be trained on on-board computers.

연구 동기 및 목표

• 비협력적 지구저지궤도위행성물체(RSOs)의 고해상도 3D 재구성을 실현하여 궤도상 서비스(OOS) 및 활성 오염물 제거를 가능하게 한다.
• 우주선 탑재 컴퓨터에서 신경 볼륨 렌더링 필드(NeRF)의 학습 및 구현 가능성을 평가한다.
• 다양한 조명 및 운동 조건에서 RSOs를 재구성할 때 Instant NGP 가속화된 NeRF와 D-NeRF의 성능을 비교한다.
• 실시간 배포를 위한 재구성 품질과 하드웨어 요구 사항을 평가한다.

제안 방법

• 본 연구는 음성 3D 시나리오 표현을 사용하여 신경 볼륨 렌더링 필드의 학습 및 추론를 가속화하기 위해 Instant NGP 가속화된 NeRF를 활용한다.
• D-NeRF는 순차적으로 촬영된 이미지에서 시간 정보를 통합하여 동적 시나리오를 모델링하는 데 적용된다.
• 2가지의 다른 조명 및 운동 조건에서 ORION 실험실에서 우주선 모의물의 2D 이미지 데이터셋을 수집하였다.
• 다중 시점 이미지를 사용하여 볼륨 렌더링과 위치 인코딩을 최적화함으로써 3D 기하학적 구조 및 외관의 정확도를 향상시켰다.
• 학습 시간, 추론 속도, GPU 메모리 사용량을 측정하여 탑재 가능한 우주선 컴퓨터에서의 구현 가능성을 평가하였다.
• ORION 데이터셋을 대상으로 PSNR 및 LPIPS와 같은 메트릭을 사용하여 재구성 품질을 정량적으로 평가하였다.

실험 결과

연구 질문

• RQ1 Instant NGP 가속화된 NeRF는 제한된 2D 이미지 입력으로도 비협력적 RSOs에 대해 고해상도 3D 재구성을 달성할 수 있는가?
• RQ2 기본 NeRF와 비교할 때 D-NeRF는 다양한 조명 및 운동 조건에서 RSOs 재구성에 얼마나 효과적인가?
• RQ3 자원 제약이 있는 우주선 시스템에서 탑재 가능한 NeRF 기반 모델의 학습 및 추론에 소요되는 계산 비용은 얼마인가?
• RQ4 제안된 파이프라인이 궤도상 서비스 응용 분야에 적합한 실시간 추론을 달성할 수 있는가?

주요 결과

• Instant NGP 가속화된 NeRF는 ORION 데이터셋에서 PSNR 값이 28 dB를 초과하여 뛰어난 시각적 품질을 확보하였다.
• 단일 GPU에서 학습 시간이 10분 이내로 크게 단축되어 탑재 가능한 배포에 적합함을 입증하였다.
• D-NeRF는 조명 및 운동 변화의 동적 변화를 효과적으로 포착하여 다양한 시야 조건에서도 일관되고 세밀한 3D 모델을 생성하였다.
• 소비자용 GPU에서 학습된 모델의 추론 속도는 30 FPS를 초과하여 실시간 시각화 및 항법 작업을 지원하였다.
• 하드웨어 자원 프로파일링 결과, 탑재 가능한 우주선 컴퓨팅 시스템과 호환 가능한 낮은 계산 프로필을 확보하였다.
• 두 방법 모두 기준 NeRF보다 재구성 품질과 학습 효율성에서 뛰어난 성능을 보였으며, Instant NGP는 더 뛰어난 속도 및 메모리 효율성을 확보하였다.