[论文解读] Exploring Accurate 3D Phenotyping in Greenhouse through Neural Radiance Fields

unhong Zhao, Ying Wei+5 more|arXiv (Cornell University)|Mar 24, 2024

Greenhouse Technology and Climate Control被引用 5

一句话总结

论文开发了一种基于 NeRF 的方法，用于温室中原位三维植物表型测量，具备尺度恢复与语义分割，在精度上与三维扫描仪相当，并且鲁棒性提升。

ABSTRACT

Accurate collection of plant phenotyping is critical to optimising sustainable farming practices in precision agriculture. Traditional phenotyping in controlled laboratory environments, while valuable, falls short in understanding plant growth under real-world conditions. Emerging sensor and digital technologies offer a promising approach for direct phenotyping of plants in farm environments. This study investigates a learning-based phenotyping method using the Neural Radiance Field to achieve accurate in-situ phenotyping of pepper plants in greenhouse environments. To quantitatively evaluate the performance of this method, traditional point cloud registration on 3D scanning data is implemented for comparison. Experimental result shows that NeRF(Neural Radiance Fields) achieves competitive accuracy compared to the 3D scanning methods. The mean distance error between the scanner-based method and the NeRF-based method is 0.865mm. This study shows that the learning-based NeRF method achieves similar accuracy to 3D scanning-based methods but with improved scalability and robustness.

研究动机与目标

• 激励在真实温室环境中实现准确的原位植物表型测量。
• 评估基于 NeRF 的三维重建方法，与高精度三维扫描仪对辣椒植物的对比。
• 通过尺度恢复方法解决 NeRF 重构中的尺度歧义。
• 整合三维语义分割以提升表型检测与测量。
• 评估基于 NeRF 的表型测量在农业场景中的鲁棒性与泛化性。

提出的方法

• 使用 Neural Radiance Fields (NeRF) 从多视图图像重建三维场景。
• 采用 Instant-NGP 和 Neus 变体以加速训练并提高表面精度。
• 引入使用校准板的尺度恢复流程以恢复真实模型尺度。
• 引入一个基于 PointNet 的三维语义分割网络用于表型提取。
• 通过平均距离度量将基于 NeRF 的重建与高精度扫描仪点云进行比较。
• 用 PSNR 和 SSIM 评估重建质量，并在尺度校准后报告表型测量。

实验结果

研究问题

• RQ1 温室中辣椒植物表型测量，基于 NeRF 的三维重建与高精度三维扫描仪相比如何？
• RQ2 尺度恢复能否在 NeRF 重构中恢复真实场景尺寸以实现准确表型？
• RQ3 引入三维语义分割网络对表型检测与测量精度有何影响？
• RQ4 快速 NeRF 变体（Instant-NGP、Instant-NSR）在本领域相对于传统多视图立体法（MVS）的表现如何？

主要发现

• 基于 NeRF 的重建相对于扫描仪方法的平均点到点距离为 0.865 mm。
• Instant-NGP 与 Instant-NSR 在 PSNR/SSIM 上超越先前的多视图重构方法，训练时间更短；Instant-NSR(本方法)达到 28.74 dB PSNR 和 0.810 SSIM。
• 尺度恢复在校准后使表型测量误差降至亚1%；Instant-NSR 达到 0.094% 偏差，相较于 Instant-NGP 的 0.204% 和 该设定下的 3D 扫描仪的 0.151%。
• 尺度恢复后表型测量（高度/宽度）显示 Instant-NSR 与真实值的偏差为 0.094%，优于 Instant-NGP（0.204%）和扫描仪（0.151%）。
• 基于 PointNet 的三维语义分割网络有助于在杂乱的温室场景中稳健提取果实区域，从而实现准确表型测量。