[논문 리뷰] NerfBridge: Bringing Real-time, Online Neural Radiance Field Training to Robotics

Javier Yu, Jun En Low외 2명|arXiv (Cornell University)|2023. 05. 16.

CCD and CMOS Imaging Sensors인용 수 5

한 줄 요약

NerfBridge는 로봇에서 실시간, 온라인 신경 렌디언스 필드(NeRF) 학습을 가능하게 하여 ROS와 Nerfstudio 라이브러리를 연결함으로써 스트리밍 카메라 데이터로부터 지속적인 NeRF 개선을 가능하게 한다. 비행 중에도 거의 실시간으로 NeRF 업데이트를 달성하였으며, 실내 및 실외 다우로터 비행 임무에서 검증되었으며, 수분 내로 명백한 품질 향상이 관찰되었다.

ABSTRACT

This work was presented at the IEEE International Conference on Robotics and Automation 2023 Workshop on Unconventional Spatial Representations. Neural radiance fields (NeRFs) are a class of implicit scene representations that model 3D environments from color images. NeRFs are expressive, and can model the complex and multi-scale geometry of real world environments, which potentially makes them a powerful tool for robotics applications. Modern NeRF training libraries can generate a photo-realistic NeRF from a static data set in just a few seconds, but are designed for offline use and require a slow pose optimization pre-computation step. In this work we propose NerfBridge, an open-source bridge between the Robot Operating System (ROS) and the popular Nerfstudio library for real-time, online training of NeRFs from a stream of images. NerfBridge enables rapid development of research on applications of NeRFs in robotics by providing an extensible interface to the efficient training pipelines and model libraries provided by Nerfstudio. As an example use case we outline a hardware setup that can be used NerfBridge to train a NeRF from images captured by a camera mounted to a quadrotor in both indoor and outdoor environments. For accompanying video https://youtu.be/EH0SLn-RcDg and code https://github.com/javieryu/nerf_bridge.

연구 동기 및 목표

• 오프라인 NeRF 학습 파이프라인의 한계를 극복하여 로봇 응용 분야에서 실시간, 온라인 NeRF 학습을 가능하게 하기.
• 로봇 운영 체계(Robot Operating System, ROS)와 통합하여 Nerfstudio의 최신 NeRF 학습 기법을 원활한 로봇 배포를 위해 통합하기.
• 로봇 운영 중 스트리밍 카메라 및 자세 데이터로부터 동적이고 지속적인 환경 표현 학습을 지원하기.
• 운영자가 실시간으로 맵 품질을 평가할 수 있도록 하여 NeRF 기반 로봇 응용 분야에서 빠른 프로토타이핑과 피드백을 촉진하기.
• 연구자들이 자체 NeRF 아키텍처와 자세 추정 방법을 쉽게 통합할 수 있도록 모듈화되고 확장 가능한 소프트웨어 브리지 제공하기.

제안 방법

• 기내 센서에서 온 RGB 이미지 및 카메라 자세를 별도 토픽으로 수신하는 ROS 노드를 구현한다.
• 이미지 및 자세 데이터를 위한 사전 할당된 버퍼를 유지하여 로봇의 센서 스트림에서 지속적으로 신규 데이터를 수신한다.
• 입수한 데이터 풀을 사용하여 Nerfstudio의 학습 파이프라인과 통합하여 지속적이고 점진적인 NeRF 학습을 수행한다.
• 계산 부담을 관리하면서도 학습 데이터의 시간적 다양성을 유지하기 위해 하향 샘플링 전략(예: 2 Hz)을 적용한다.
• 실시간 카메라 자세 추정에 ORBSLAM3를 활용하여 ROS와 호환되는 시각적 온도메트리(visual odometry)를 수행하며, 이를 NerfBridge의 입력으로 사용한다.
• 고성능 GPU를 탑재한 지상국에서 NeRF 학습, 자세 추정, 모니터링를 동시에 병렬로 수행한다.

Figure 1: A basic outline of the functionality of the NerfBridge Package for integrating streaming images with real-time NeRF training.

실험 결과

연구 질문

• RQ1 표준 로봇 중재 소프트웨어인 ROS를 사용하여 온라인 NeRF 학습이 실시간 로봇 파이프라인에 효과적으로 통합될 수 있는가?
• RQ2 움직이는 로봇으로부터 지속적인 데이터 수신이 이루어지는 동적 환경에서 NeRF 맵의 품질은 어떻게 변화하는가?
• RQ3 데이터 중복성과 시간 샘플링 레이트가 비행 중 NeRF 수렴성과 재구성 정밀도에 미치는 영향은 어떠한가?
• RQ4 실시간 NeRF 피드백은 로봇 맵핑 작업에서 임무 계획 수립과 운영자 의사결정을 향상시킬 수 있는가?
• RQ5 정보 기반 키프레임 전략은 온라인 환경에서 NeRF 학습의 안정성에 영향을 주며, 치명적인 잊힘(catastrophic forgetting)을 방지하는 데 어떤 영향을 미치는가?

주요 결과

• NerfBridge는 스트리밍 데이터로부터 실시간 NeRF 학습을 가능하게 하였으며, 비행 후 약 1분 내로 맵 품질 향상이 눈에 띄게 관찰되었다.
• 비행 약 1분 후 추가 이미지가 기여하는 향상은 미미하여 데이터 중복성과 NeRF 품질의 수렴 상태를 시사한다.
• 시스템은 실내 및 실외 환경 모두를 성공적으로 재구성하였으며, 건물 외벽, 창문, 조명 세부 정보와 같은 복잡한 다중 척도 구조도 포함하였다.
• 실내 비행 중 약 2.5분 동안 촬영한 300장의 이미지 데이터셋을 통해 폼 기둥과 주변 실내 구조물의 고해상도 NeRF 맵을 생성하였다.
• 스탠포드의 엘리엇 센터에서의 실외 맵핑은 자연광과 복잡한 질감에서도 뛰어난 성능을 보였으며, 건물 세부 구조물의 정확한 재현을 달성하였다.
• ORBSLAM3를 통한 자세 추정과 Nerfstudio를 통한 NeRF 학습 통합으로 낮은 지연 시간의 지속적 맵 정교화가 가능하여 실시간 피드백에 적합한 성능을 보였다.

Figure 2: The reconstruction of the NeRF generated overtime from flying a helical trajectory around a foam box and pipes using NerfBridge.