[论文解读] LENS: Localization enhanced by NeRF synthesis

Arthur Moreau, Nathan Piasco+3 more|arXiv (Cornell University)|Oct 13, 2021

Robotics and Sensor-Based Localization参考文献 33被引用 17

一句话总结

LENS 通过 NeRF-W 生成几何一致的合成新视角，实现相机位姿回归的增强，利用场景 3D 几何结构中均匀采样的虚拟相机位姿。这种数据增强方法在 Cambridge Landmarks 和 7-Scenes 数据集上将中位数定位误差降低了 60%，在不改变网络架构的前提下实现了与基于结构的方法相当的性能。

ABSTRACT

Neural Radiance Fields (NeRF) have recently demonstrated photo-realistic results for the task of novel view synthesis. In this paper, we propose to apply novel view synthesis to the robot relocalization problem: we demonstrate improvement of camera pose regression thanks to an additional synthetic dataset rendered by the NeRF class of algorithm. To avoid spawning novel views in irrelevant places we selected virtual camera locations from NeRF internal representation of the 3D geometry of the scene. We further improved localization accuracy of pose regressors using synthesized realistic and geometry consistent images as data augmentation during training. At the time of publication, our approach improved state of the art with a 60% lower error on Cambridge Landmarks and 7-scenes datasets. Hence, the resulting accuracy becomes comparable to structure-based methods, without any architecture modification or domain adaptation constraints. Since our method allows almost infinite generation of training data, we investigated limitations of camera pose regression depending on size and distribution of data used for training on public benchmarks. We concluded that pose regression accuracy is mostly bounded by relatively small and biased datasets rather than capacity of the pose regression model to solve the localization task.

研究动机与目标

• 解决由于视频序列中训练数据分布不均导致的相机位姿回归器泛化能力差的问题。
• 通过使用 NeRF 生成多样化、空间分布均衡的合成数据集，提升位姿回归的准确性。
• 证明当在大规模、分布均匀的合成数据上进行训练时，位姿回归可以达到与基于结构的方法相当的性能。
• 独立于模型容量，研究数据量和分布对位姿回归性能的影响。
• 通过合成数据增强，实现在嵌入式机器人系统中实时、低内存消耗的重定位。

提出的方法

• LENS 使用 NeRF-W 在已知位姿的真实图像上训练神经辐射场，学习场景的 3D 几何结构和外观特征。
• 在场景的 3D 空间中构建规则的三维网格，生成虚拟相机位姿，并利用 NeRF 内部的几何信息排除被遮挡或退化的视角。
• 从这些优化后的虚拟位姿渲染出合成图像，确保几何一致性与照片级真实感。
• 使用真实图像与 NeRF 生成的合成图像组合数据集对位姿回归器进行训练，以提升泛化能力。
• 在在线重定位过程中，采用轻量级模型 CoordiNet 实现快速、实时的推理。
• 通过混合真实与合成数据，避免域偏移，缩小合成图像与真实图像分布之间的差距。

实验结果

研究问题

• RQ1 基于 NeRF 的新视角合成能否生成高质量、几何一致的图像，从而提升相机位姿回归性能？
• RQ2 与基于真实世界视频的训练相比，使用在整个场景中均匀分布的合成数据集进行训练，是否能显著降低定位误差？
• RQ3 位姿回归的准确性在多大程度上受限于数据分布而非模型容量？
• RQ4 合成数据增强能否弥合基于学习的方法与基于结构的方法之间的性能差距？
• RQ5 训练数据的规模与分布如何影响位姿回归器在真实场景中的泛化能力？

主要发现

• 与基线位姿回归方法相比，LENS 在 Cambridge Landmarks 数据集上将中位数平移误差和旋转误差降低了 60%。
• 在 7-Scenes 的 Fire 场景中，当用 LENS 生成的合成视角替换原始训练数据时，中位数误差从 27cm/11.7° 降低至 8cm/3.5°。
• 当训练数据量增加至原始数据的 5000%（全部为合成数据）时，7-Scenes 上的中位数误差达到 0.03m/1.4°，与基于结构的方法性能相当。
• 研究结论指出，位姿回归的准确性主要受限于数据偏差与数据稀缺性，而非模型容量或网络架构。
• 仅使用合成数据进行训练会因域差距而失败；混合真实与合成数据是实现在真实测试图像上鲁棒性的关键。
• LENS 实现了每张图像 <50ms 的实时推理速度和 <50MB 的内存占用，适用于嵌入式机器人应用。