[论文解读] A Comparative Neural Radiance Field (NeRF) 3D Analysis of Camera Poses from HoloLens Trajectories and Structure from Motion

Miriam Jäger, Patrick Hübner+2 more|arXiv (Cornell University)|Apr 20, 2023

Optical measurement and interference techniques被引用 4

一句话总结

本论文提出了一种直接从微软 HoloLens 数据进行 3D 重建的流水线，采用神经辐射场（NeRFs），并将内部 HoloLens 轨迹姿态与通过运动恢复结构（SfM）获得的姿态进行比较。结果表明，在 NeRF 训练过程中进行姿态优化后，内部 HoloLens 姿态可实现 27 dB 的 PSNR，且 3D 重建质量与 SfM 姿态相当，优于传统多视角立体（MVS）方法在无纹理和精细结构表面的细节与完整性表现。

ABSTRACT

Neural Radiance Fields (NeRFs) are trained using a set of camera poses and associated images as input to estimate density and color values for each position. The position-dependent density learning is of particular interest for photogrammetry, enabling 3D reconstruction by querying and filtering the NeRF coordinate system based on the object density. While traditional methods like Structure from Motion are commonly used for camera pose calculation in pre-processing for NeRFs, the HoloLens offers an interesting interface for extracting the required input data directly. We present a workflow for high-resolution 3D reconstructions almost directly from HoloLens data using NeRFs. Thereby, different investigations are considered: Internal camera poses from the HoloLens trajectory via a server application, and external camera poses from Structure from Motion, both with an enhanced variant applied through pose refinement. Results show that the internal camera poses lead to NeRF convergence with a PSNR of 25\,dB with a simple rotation around the x-axis and enable a 3D reconstruction. Pose refinement enables comparable quality compared to external camera poses, resulting in improved training process with a PSNR of 27\,dB and a better 3D reconstruction. Overall, NeRF reconstructions outperform the conventional photogrammetric dense reconstruction using Multi-View Stereo in terms of completeness and level of detail.

研究动机与目标

• 评估直接通过服务器应用程序提取的内部 HoloLens 相机姿态是否可用于训练 NeRF 实现 3D 重建的可行性。
• 比较使用 HoloLens 内部轨迹与 SfM 生成的相机姿态进行 NeRF 训练及重建质量的差异。
• 评估在 NeRF 训练过程中进行姿态优化对收敛性和 3D 重建质量的影响。
• 在完整性与细节方面，将基于 NeRF 的重建结果与传统的多视角立体（MVS）方法进行基准对比。
• 展示一条从 HoloLens 传感器数据直接到高分辨率 NeRF 重建的端到端流水线。

提出的方法

• 通过自定义服务器应用程序，直接从 HoloLens 轨迹中提取相机姿态和 RGB 图像。
• 使用相同的 HoloLens 图像，通过运动恢复结构（SfM）生成外部相机姿态，用于对比。
• 将内部姿态和 SfM 姿态作为输入，训练 NeRF，训练过程中是否进行姿态优化均有尝试。
• 通过在 NeRF 训练期间优化相机外参（旋转与平移），实现姿态优化。
• 通过采样 NeRF 中高密度值的坐标点，提取 3D 点云，并对物体表面进行过滤。
• 使用相同的相机姿态生成基线多视角立体（MVS）点云，用于定量与定性对比。

Figure 1: Flowchart of the applied investigations. Input data are two different types of camera poses: internal poses of the HoloLens and externally calculated poses via SfM. Subsequently, in each case a pose refinement variant is performed during the training. The four resulting point clouds are ex

实验结果

研究问题

• RQ1 仅使用内部 HoloLens 相机姿态进行训练的 NeRF 是否能实现收敛并生成有意义的 3D 重建？
• RQ2 使用内部 HoloLens 姿态与 SfM 生成姿态进行 NeRF 重建的质量有何差异？
• RQ3 在 NeRF 训练过程中对姿态进行优化，能在多大程度上提升使用内部 HoloLens 姿态的重建质量？
• RQ4 在具有挑战性的表面上，NeRF 重建与传统多视角立体（MVS）在完整性与细节方面有何对比？
• RQ5 能否建立一条从 HoloLens 数据到高分辨率 NeRF 重建的直接流水线，而无需通过 SfM 进行预处理？

主要发现

• 经过简单的 x 轴旋转后，内部 HoloLens 相机姿态在约 20,000 个训练周期后，使 NeRF 实现收敛，PSNR 达到 25 dB。
• 在 NeRF 训练过程中进行姿态优化，使基于内部 HoloLens 姿态的重建 PSNR 提升至 27 dB，与 SfM 生成姿态的性能相当。
• 使用优化后的内部 HoloLens 姿态进行 NeRF 重建的 3D 质量在视觉上与 SfM 姿态相当，仅存在极少伪影。
• 基于 NeRF 的重建在完整性与细节方面优于传统多视角立体（MVS）方法，尤其在无纹理和精细结构表面（如植物枝条）表现更优。
• MVS 重建在细小结构上出现灰色伪影，且未能重建花盆，而 NeRF 成功保留了这些特征。
• NeRF 重建中的颜色差异较小，归因于方向性颜色建模，未影响整体重建质量。

Figure 3: Visualization of an image of the captured Ficus plant as our measurement object using the Microsoft HoloLens RGB camera.