[论文解读] ActiveRMAP: Radiance Field for Active Mapping And Planning

Huangying Zhan, Jiyang Zheng+3 more|arXiv (Cornell University)|Nov 23, 2022

Advanced Vision and Imaging被引用 20

一句话总结

ActiveRMAP 在不进行预训练的情况下，提出一个在线的仅RGB的主动视觉框架，联合建图与路径规划，使用混合隐式-显式辐射场（DVGO），在渲染和重建方面与离线方法相当，在某些基于 NeRF 的主动方法上表现更优。

ABSTRACT

A high-quality 3D reconstruction of a scene from a collection of 2D images can be achieved through offline/online mapping methods. In this paper, we explore active mapping from the perspective of implicit representations, which have recently produced compelling results in a variety of applications. One of the most popular implicit representations - Neural Radiance Field (NeRF), first demonstrated photorealistic rendering results using multi-layer perceptrons, with promising offline 3D reconstruction as a by-product of the radiance field. More recently, researchers also applied this implicit representation for online reconstruction and localization (i.e. implicit SLAM systems). However, the study on using implicit representation for active vision tasks is still very limited. In this paper, we are particularly interested in applying the neural radiance field for active mapping and planning problems, which are closely coupled tasks in an active system. We, for the first time, present an RGB-only active vision framework using radiance field representation for active 3D reconstruction and planning in an online manner. Specifically, we formulate this joint task as an iterative dual-stage optimization problem, where we alternatively optimize for the radiance field representation and path planning. Experimental results suggest that the proposed method achieves competitive results compared to other offline methods and outperforms active reconstruction methods using NeRFs.

研究动机与目标

• 激励并实现使用隐式表示、且无需预训练的在线主动映射与规划。
• 开发一种交替进行辐射场估计和路径规划的双阶段优化框架。
• 在仅使用彩色图像的情况下，消除深度监督和预训练要求。
• 将碰撞避免、几何信息增益和路径效率纳入规划。

提出的方法

• 使用 DVGO 作为混合隐式-显式辐射场，以实现快速粗略建图和高质量细化。
• 将规划表述为一个可微的多目标优化，结合碰撞惩罚、信息增益和路径效率。
• 引入基于终止熵的信息增益，该信息增益从视野锥体计算，用于引导可选下一个最佳视点 NBV 的选择。
• 用二次 Bézier 曲线表示轨迹，以确保平滑且可行的运动。
• 通过对辐射场进行增量更新以适应新观测实现在线操作，且不对 NeRF 模型进行预训练。

实验结果

研究问题

• RQ1 在不使用预训练模型或深度数据的情况下，是否可以通过一个仅含 RGB 的在线类 NeRF 框架实现具有竞争力的主动建图与规划？
• RQ2 如何将从视点观测到的三维点的终止概率熵用作 NBV 选择的信息增益准则？
• RQ3 多目标规划损失对主动 SLAM 中的碰撞避免、信息增益和轨迹效率有何影响？
• RQ4 提出的在线框架在渲染和重建质量方面与离线 NeRF 基方法及现有主动重建方法相比如何？

主要发现

• 在未进行预训练的情况下，完整的在线 ActiveRMAP 方法在 Synthetic-NeRF 渲染上实现了 PSNR 30.181、SSIM 0.942、LPIPS 0.063。
• 与离线 NeRF 家族基线（NeRF：31.01/0.947/0.081；Mip-NeRF：33.09/0.961/0.043；DVGO：31.82/0.955/0.055）相比，所提出的方法在渲染质量上仍具有竞争力，同时实现在线运行和主动视图选择。
• ActiveRMAP 在主动重建场景中优于若干基线，并在与现有基于 NeRF 的主动方法（如 ActiveNeRF）相比时提供了竞争性结果。
• 该方法引入基于熵的信息增益准则，在所评估的设置中提升了 NBV 选择，相较于随机、最远视图和基于不确定性的基线。
• 规划模块通过可微的多目标损失有效权衡碰撞避免、信息增益和路径效率，从而实现在线轨迹优化。