[논문 리뷰] NaRPA: Navigation and Rendering Pipeline for Astronautics

Roshan T. Eapen, Ramchander Rao Bhaskara외 1명|arXiv (Cornell University)|2022. 11. 03.

Satellite Image Processing and Photogrammetry인용 수 4

한 줄 요약

NaRPA는 항공우주 시뮬레이션을 위한 레이 트레이싱 기반 물리 엔진으로, 글로벌 wellumination, 대기 효과 및 이미지, 깊이 맵, 포인트 클라우드와 같은 센서 출력을 모델링한다. 이는 시각 기반 항법을 위한 정확하고 미분 가능한 렲링을 가능하게 하며, 국제우주정거장 도킹 시뮬레이션에서 스테레오 삼각측량과 기울기 기반 최적화를 통해 고해상도 3D 자세 추정을 구현한다.

ABSTRACT

This paper presents Navigation and Rendering Pipeline for Astronautics (NaRPA) - a novel ray-tracing-based computer graphics engine to model and simulate light transport for space-borne imaging. NaRPA incorporates lighting models with attention to atmospheric and shading effects for the synthesis of space-to-space and ground-to-space virtual observations. In addition to image rendering, the engine also possesses point cloud, depth, and contour map generation capabilities to simulate passive and active vision-based sensors and to facilitate the designing, testing, or verification of visual navigation algorithms. Physically based rendering capabilities of NaRPA and the efficacy of the proposed rendering algorithm are demonstrated using applications in representative space-based environments. A key demonstration includes NaRPA as a tool for generating stereo imagery and application in 3D coordinate estimation using triangulation. Another prominent application of NaRPA includes a novel differentiable rendering approach for image-based attitude estimation is proposed to highlight the efficacy of the NaRPA engine for simulating vision-based navigation and guidance operations.

연구 동기 및 목표

• 우주 기반 영상 및 항법을 위한 물리적으로 정확한 레이 트레이싱 기반 시뮬레이션 플랫폼을 개발하기 위해.
• 부정확한 조명 모델링으로 인해 발생하는 광학 흐름 및 시각 기반 항법의 한계를 해결하기 위해.
• 대기 및 음영 효과를 고려한 우주 간 상호 관측 및 지상 간 상호 관측의 고해상도 시뮬레이션을 가능하게 하기 위해.
• 합성 센서 데이터를 사용하여 시각 항법 알고리즘의 설계, 테스트 및 검증을 지원하기 위해.
• 2D 이미지에서 3D 자세 추정을 위한 엔드 투 엔드 최적화를 가능하게 하는 미분 가능한 렌더링을 제공하기 위해.

제안 방법

• NaRPA는 렌더링 방정식 기반의 레이 트레이싱 파이프라인을 활용하여 우주 환경에서의 글로벌 wellumination 및 빛 전달을 시뮬레이션한다.
• 대기 산란 모델(레이일 및 마이 모델)을 통합하여 빛 전파에 대한 시간대 및 흐림 정도 효과를 시뮬레이션한다.
• 다중 모odal 센서 출력을 생성한다: 3D 시뮬레이션 장면 기하학에서 유도된 사진 수준의 현실감 있는 이미지, 깊이 맵, 윤곽선 맵, 포인트 클라우드.
• 렌더링 파이프라인을 통해 기울기를 전파하는 미분 가능한 렌더링 모듈을 통해 2D 이미지 관측에서 자세 파rameter의 최적화를 가능하게 한다.
• 자세 추정은 합성 이미지와 관측 이미지 간 잔차를 기반으로 한 비선형 최적화를 통해 레벤버그-마르카르트 알고리즘을 사용하여 수행된다.
• 이미지 형성 모델과 3D 자세 파rameter 간의 기울기 기반 최적화를 위해 체인 룰 기반 자코비안 계산을 사용한다.

실험 결과

연구 질문

• RQ1 레이 트레이싱 렌더링 엔진이 현실적인 대기 및 음영 효과를 고려하여 우주 기반 관측을 정확하게 시뮬레이션할 수 있는가?
• RQ2 NaRPA는 삼각측량을 사용한 3D 좌표 추정을 위해 얼마나 잘 합성 스테레오 영상을 생성할 수 있는가?
• RQ3 NaRPA의 미분 가능한 렌더링이 2D 이미지 투영에서 정확한 3D 자세 추정을 얼마나 잘 가능하게 하는가?
• RQ4 NaRPA는 자율 우주선 임무에서 시각 기반 항법 알고리즘 테스트를 위한 기준 시뮬레이션 환경으로 활용될 수 있는가?
• RQ5 물리 기반 조명 및 대기 모델링의 통합이 광학 흐름 및 자세 추정 알고리즘의 강건성에 얼마나 기여하는가?

주요 결과

• NaRPA는 시간대 및 흐림 정도 변화를 포함한 정확한 대기 산란 효과를 반영한 사진 수준의 현실감 있는 이미지를 성공적으로 생성하여 우주 임무 시뮬레이션의 현실감을 향상시켰다.
• NaRPA의 스테레오 영상 생성 기능은 삼각측량을 통해 정확한 3D 좌표 추정을 가능하게 하였으며, 포인트 클라우드 데이터는 검증을 위한 기준 데이터로 기능하였다.
• 미분 가능한 렌더링 모듈은 ISS 도킹 조작 시뮬레이션에서 자세 추정에 수렴하였으며, 그림 22에서 보듯이 반복 과정 동안 비용 함수가 감소하는 것으로 확인되었다.
• 합성 이미지에서 추정된 자세는 시각적으로 다섯 개의 프레임에 걸친 시뮬레이션 시퀀스에서 진짜 자세와 매우 유사하게 일치하였다.
• 렌더링 파이프라인을 통해 기울기 기반 최적화를 수행함으로써 2D 이미지 관측에서 3D 자세를 추론하는 것이 가능하다는 것이 입증되었다.
• NaRPA의 다중 센서 출력 기능은 깊이 및 윤곽선 데이터에 의존하는 시각 항법 알고리즘을 포함한 포괄적인 테스트를 지원한다.