[论文解读] BID-NeRF: RGB-D image pose estimation with inverted Neural Radiance Fields

Ágoston István Csehi, Csaba M. Józsa|arXiv (Cornell University)|Oct 5, 2023

Advanced Vision and ImagingComputer Science被引用 3

一句话总结

BID-NeRF 通过在 iNeRF 的基础上引入基于深度的损失、多图像优化，并移除分层采样，提升了图像位姿估计性能，在 Blender 数据集上实现了 2–4 倍的收敛速度提升和 2.5 倍更高的成功率，即使在初始位姿误差较大的情况下也表现优异。

ABSTRACT

We aim to improve the Inverted Neural Radiance Fields (iNeRF) algorithm which defines the image pose estimation problem as a NeRF based iterative linear optimization. NeRFs are novel neural space representation models that can synthesize photorealistic novel views of real-world scenes or objects. Our contributions are as follows: we extend the localization optimization objective with a depth-based loss function, we introduce a multi-image based loss function where a sequence of images with known relative poses are used without increasing the computational complexity, we omit hierarchical sampling during volumetric rendering, meaning only the coarse model is used for pose estimation, and we how that by extending the sampling interval convergence can be achieved even or higher initial pose estimate errors. With the proposed modifications the convergence speed is significantly improved, and the basin of convergence is substantially extended.

研究动机与目标

• 在初始位姿误差较大的情况下，提升基于 iNeRF 的图像位姿估计的收敛速度与鲁棒性。
• 通过引入深度监督和多图像约束，解决 iNeRF 中收敛区域有限的问题。
• 通过移除分层采样，降低计算开销，同时保持或提升精度。
• 通过提升优化效率，使方法适用于机器人学和 SLAM 等实时应用。

提出的方法

• 引入一种基于深度的损失函数，在位姿优化过程中利用 NeRF 模型预测的深度信息。
• 将优化目标扩展为使用已知相对位姿的图像序列，提升收敛性，且不增加计算成本。
• 通过仅使用粗粒度 NeRF 模型进行渲染，彻底移除分层采样，使推理时间与内存使用量减半。
• 优化采样间隔，以提升在初始位姿误差较大时的收敛性能。
• 使用可微分体素渲染，将渲染图像和深度预测的梯度反向传播至初始位姿参数。
• 采用一阶优化方法并结合自适应学习率，通过颜色损失和深度损失迭代优化位姿估计。

实验结果

研究问题

• RQ1 深度监督能否提升 iNeRF 在图像位姿估计中的收敛速度与鲁棒性？
• RQ2 使用多张具有已知相对位姿的图像，是否能在不增加计算复杂度的前提下扩展收敛区域？
• RQ3 移除分层采样后，能否在显著降低推理时间的同时保持或提升精度？
• RQ4 将采样间隔扩展在多大程度上能改善大初始位姿误差下的收敛性能？
• RQ5 在不同初始位姿误差下，BID-NeRF 与 iNeRF 相比，在收敛速度与成功率方面表现如何？

主要发现

• 在 Blender 数据集上，BID-NeRF 经过 1000 次优化步骤后，平移误差与旋转误差的收敛率均达到 95%，而 iNeRF 仅分别为 38% 和 42%。
• 该方法根据初始误差大小的不同，收敛速度提升了 2–4 倍，经 Mann-Whitney U 检验确认具有统计显著性（p < 10−4）。
• 移除分层采样后，每次优化步骤的推理时间减少了一半，且精度未下降。
• 多图像损失的引入扩展了收敛区域，尤其在初始位姿误差较高时效果显著。
• 对于高初始误差，BID-NeRF 仅需 600–800 次迭代即可收敛，使用 RTX 3090 显卡上的 AdaNeRF 实现了每轮估计 5–6 秒的实时性能。
• 该方法与 NeRF 模型无关，兼容快速 NeRF 实现，可实际部署于机器人学与 SLAM 系统中。