[논문 리뷰] ActiveRMAP: Radiance Field for Active Mapping And Planning

Huangying Zhan, Jiyang Zheng외 3명|arXiv (Cornell University)|2022. 11. 23.

Advanced Vision and Imaging인용 수 20

한 줄 요약

온라인 RGB 전용 활성 비전 프레임워크인 ActiveRMAP은 프리 트레이닝 없이 하이브리드 암시/명시 방사장(DVGO)을 사용하여 함께 매핑하고 계획하며, 오프라인 방법과 비교해 렌더링 및 재구성 결과가 경쟁적이고 일부 NeRF 기반 활성 접근법보다 우수합니다.

ABSTRACT

A high-quality 3D reconstruction of a scene from a collection of 2D images can be achieved through offline/online mapping methods. In this paper, we explore active mapping from the perspective of implicit representations, which have recently produced compelling results in a variety of applications. One of the most popular implicit representations - Neural Radiance Field (NeRF), first demonstrated photorealistic rendering results using multi-layer perceptrons, with promising offline 3D reconstruction as a by-product of the radiance field. More recently, researchers also applied this implicit representation for online reconstruction and localization (i.e. implicit SLAM systems). However, the study on using implicit representation for active vision tasks is still very limited. In this paper, we are particularly interested in applying the neural radiance field for active mapping and planning problems, which are closely coupled tasks in an active system. We, for the first time, present an RGB-only active vision framework using radiance field representation for active 3D reconstruction and planning in an online manner. Specifically, we formulate this joint task as an iterative dual-stage optimization problem, where we alternatively optimize for the radiance field representation and path planning. Experimental results suggest that the proposed method achieves competitive results compared to other offline methods and outperforms active reconstruction methods using NeRFs.

연구 동기 및 목표

• 프리 트레이닝 없이 암시적 표현을 이용한 온라인 활성 매핑 및 계획을 고무하고 가능하게 한다.
• 복수 단계 최적화 프레임워크를 개발하여 방사장 필드 추정과 경로 계획을 교대로 수행한다.
• 오직 컬러 이미지만을 사용하면서 깊이 감독 및 프리 트레이닝 요구를 제거한다.
• 계획에 충돌 회피, 기하학적 정보 이득 및 경로 효율성을 반영한다.

제안 방법

• DVGO를 하이브리드 암시-명시 방사장으로 사용해 빠른 거친 매핑과 고품질 정제를 가능하게 한다.
• 충돌 페널티, 정보 이득, 경로 효율성을 결합한 미분 가능 다중 목표 최적화로 계획을 수식화한다.
• 뷰 프루스텀에서 계산되는 종료 엔트로피 기반 정보 이득을 도입해 NBV 선택을 안내한다.
• 궤적을 이차 베지에 곡선으로 표현해 부드럽고 실행 가능한 모션을 보장한다.
• 새로운 관찰로 방사장 필드를 점진적으로 업데이트하여 프리 트레이닝 없이 NeRF 모델을 사용한 온라인 작동을 수행한다.

실험 결과

연구 질문

• RQ1 프리 트레이닝된 모델이나 깊이 데이터 없이도 RGB-전용의 온라인 NeRF 유사 프레임워크가 경쟁력 있는 활성 매핑 및 계획을 달성할 수 있는가?
• RQ2 관찰 지점들에서 관찰된 3D 점의 종료 확률 엔트로피를 NBV 선택을 위한 정보 이득 기준으로 어떻게 활용할 수 있는가?
• RQ3 활성 SLAM에서 충돌 회피, 정보 이득, 경로 효율성에 대한 다목적 계획 손실의 영향은 무엇인가?
• RQ4 제안된 온라인 프레임워크가 렌더링 및 재구성 품질 측면에서 오프라인 NeRF 기반 방법 및 기존 활성 재구성 방법과 어떻게 비교되는가?

주요 결과

• 프리 트레이닝을 사용하지 않음에도 불구하고 전체 온라인 ActiveRMAP 방법은 Synthetic-NeRF 렌더링에서 PSNR 30.181, SSIM 0.942, LPIPS 0.063를 달성한다.
• 오프라인 NeRF 계열 베이스라인(NeRF: 31.01/0.947/0.081; Mip-NeRF: 33.09/0.961/0.043; DVGO: 31.82/0.955/0.055)과 비교해도 제안된 방법은 렌더링 품질 측면에서 경쟁력을 유지하며 온라인 작동 및 활성 뷰 선택을 제공합니다.
• ActiveRMAP은 활성 재구성 시나리오에서 여러 베이스라인을 능가하고 기존 NeRF 기반 활성 방법(예: ActiveNeRF)에 대해 경쟁력 있는 결과를 제공합니다.
• 이 접근법은 평가 설정에서 임의의 방식, 가장 멀리 본 시점의 뷰, 불확실성 기반 베이스라인에 비해 NBV 선택을 개선하는 엔트로피 기반 정보 이득 기준을 도입했다.
• 계획 모듈은 차별화 가능한 다목적 손실을 통해 충돌 회피, 정보 이득, 경로 효율성을 효과적으로 균형 있게 다루며 온라인 궤적 최적화를 가능하게 한다.