[论文解读] Evaluating Neural Radiance Fields (NeRFs) for 3D Plant Geometry Reconstruction in Field Conditions

Muhammad Arshad, Talukder Z. Jubery+6 more|arXiv (Cornell University)|Feb 15, 2024

Surface Roughness and Optical Measurements被引用 4

一句话总结

本文评估了神经辐射场（NeRFs）在田间环境下对植物进行三维重建的性能，结果表明，NeRFs 经过 30 分钟 GPU 训练后可达到 74.65% 的 F1 分数。研究在复杂度逐步提升的条件下对比了多种 NeRF 变体，以 LiDAR 扫描结果作为真实值，并发现由于采用了先进的采样策略和位姿优化，Nerfacto 表现最佳。

ABSTRACT

We evaluate different Neural Radiance Fields (NeRFs) techniques for the 3D reconstruction of plants in varied environments, from indoor settings to outdoor fields. Traditional methods usually fail to capture the complex geometric details of plants, which is crucial for phenotyping and breeding studies. We evaluate the reconstruction fidelity of NeRFs in three scenarios with increasing complexity and compare the results with the point cloud obtained using LiDAR as ground truth. In the most realistic field scenario, the NeRF models achieve a 74.6% F1 score after 30 minutes of training on the GPU, highlighting the efficacy of NeRFs for 3D reconstruction in challenging environments. Additionally, we propose an early stopping technique for NeRF training that almost halves the training time while achieving only a reduction of 7.4% in the average F1 score. This optimization process significantly enhances the speed and efficiency of 3D reconstruction using NeRFs. Our findings demonstrate the potential of NeRFs in detailed and realistic 3D plant reconstruction and suggest practical approaches for enhancing the speed and efficiency of NeRFs in the 3D reconstruction process.

研究动机与目标

• 评估基于 NeRF 的三维重建在真实田间环境中对复杂植物几何结构的可行性与性能。
• 在从室内到室外田间环境的复杂度逐步提升的条件下，对比多种 NeRF 变体的性能。
• 利用 LiDAR 衍生的点云作为真实值，建立基准以评估 NeRF 在植物形态学中的准确性。
• 为未来农业领域 NeRF 应用研究开发可复用的评估框架与数据集。

提出的方法

• 本研究采用三种评估场景：受控室内、半受控室外和真实田间环境，复杂度逐步提升。
• 使用从不同相机位姿拍摄的多视角 RGB 图像训练 NeRF 模型，训练时长针对田间部署进行了优化。
• 采用 LiDAR 衍生的点云作为定量评估的真实值，支持 F1 分数与结构相似性对比。
• 评估框架包含 F1 分数、结构相似性与推理速度等指标，并对采样策略进行了消融研究。
• 利用 Nerfacto 的提议网络与密度场，提升复杂植物场景中采样效率与渲染质量。
• 方法中引入相机位姿优化与分段采样策略，以增强场景近端与远端区域的细节捕捉能力。

实验结果

研究问题

• RQ1 NeRF 能否在非受控田间环境下实现准确且细节丰富的植物几何结构三维重建？
• RQ2 在田间环境约束下，不同 NeRF 变体（如 Instant-NGP、Nerfacto）在重建质量与推理效率方面如何比较？
• RQ3 采样策略与位姿优化对植物结构重建保真度有何影响？
• RQ4 NeRF 在捕捉细粒度植物特征（如叶脉与分枝模式）方面，能在多大程度上超越传统摄影测量方法？

主要发现

• 在最接近真实的田间场景中，NeRF 模型仅经过 30 分钟 GPU 训练即达到 74.65% 的 F1 分数，表明其在真实世界条件下具备强大性能。
• Nerfacto 凭借其先进的采样策略（包括提议网络与相机位姿优化），在图像清晰度与细节准确性方面优于其他 NeRF 变体。
• 采用 LiDAR 衍生点云作为真实值，实现了可靠的定量评估，证实了 NeRF 在高保真度重建细粒度植物结构方面的能力。
• Instant-NGP 虽然推理速度更快，但由于采样精度较低，尤其在几何复杂区域导致结果更模糊。
• 本研究提供了公开可获取的 RGB 图像与对应 LiDAR 扫描数据集，可作为未来农业领域 NeRF 研究的基准。
• 所开发的评估框架支持 NeRF 模型的系统性比较，推动植物三维重建研究的可复现性与可扩展性。