[论文解读] AgriNeRF: Neural Radiance Fields for Agriculture in Challenging Lighting Conditions

Samarth Chopra, Fernando Cladera+2 more|arXiv (Cornell University)|Sep 23, 2024

Remote Sensing in Agriculture被引用 4

一句话总结

AgriNeRF 提出了一种多模态神经辐射场框架，融合 RGB、事件和热成像相机，以实现在农业环境中光照条件复杂情况下的鲁棒 3D 场景重建与果实检测。在 RGB 重建中，PSNR 提升了 +2.06 dB，SSIM 提升了 +8.3%；通过跨谱融合，果实检测的 mAP50 提升了 +44.8%，在低光照和光照变化场景下显著优于单模态基线方法。

ABSTRACT

Neural Radiance Fields (NeRFs) have shown significant promise in 3D scene reconstruction and novel view synthesis. In agricultural settings, NeRFs can serve as digital twins, providing critical information about fruit detection for yield estimation and other important metrics for farmers. However, traditional NeRFs are not robust to challenging lighting conditions, such as low-light, extreme bright light and varying lighting. To address these issues, this work leverages three different sensors: an RGB camera, an event camera and a thermal camera. Our RGB scene reconstruction shows an improvement in PSNR and SSIM by +2.06 dB and +8.3% respectively. Our cross-spectral scene reconstruction enhances downstream fruit detection by +43.0% in mAP50 and +61.1% increase in mAP50-95. The integration of additional sensors leads to a more robust and informative NeRF. We demonstrate that our multi-modal system yields high quality photo-realistic reconstructions under various tree canopy covers and at different times of the day. This work results in the development of a resilient NeRF, capable of performing well in visibly degraded scenarios, as well as a learnt cross-spectral representation, that is used for automated fruit detection.

研究动机与目标

• 解决传统 NeRF 在低光照、高动态范围和光照变化等复杂农业光照条件下性能不佳的问题。
• 提升真实果园和花园中光照随时间显著变化场景下的 3D 场景重建保真度。
• 开发一种跨谱 NeRF 表示方法，通过利用可见光与红外波段的互补信息，增强下游果实检测性能。
• 构建一个新型的真实世界多模态数据集，包含 RGB、事件、热成像、LiDAR 和 IMU 数据，用于农业 NeRF 研究。
• 证明多模态融合可实现更鲁棒、更精确的数字孪生，适用于精准农业应用。

提出的方法

• 将 RGB、事件和热成像相机集成到统一传感器套件中，用于在不同光照条件下捕获多光谱场景数据。
• 提出一种正则化损失函数，以最大化 RGB、事件和热成像帧之间的特征相关性，从而提升 RGB 重建的保真度。
• 训练一种联合跨谱 NeRF，融合可见光（RGB）和红外（热成像）波段的特征，生成鲁棒的多光谱 3D 场景表示。
• 利用事件相机数据提升时间分辨率并减轻运动模糊，从而在动态或光照不足的场景中提高重建质量。
• 采用多视角 NeRF 架构，结合位置编码和体素渲染，并针对跨谱特征融合进行适配。
• 利用自建传感器套件，实现 RGB、热成像、事件、LiDAR 和 IMU 传感器的同步数据采集，用于真实世界数据采集。

实验结果

研究问题

• RQ1 RGB、事件和热成像相机的融合是否能显著提升农业环境中光照条件复杂场景下的 NeRF 重建质量？
• RQ2 与单模态 RGB NeRF 相比，跨谱 NeRF 重建在下游果实检测性能方面有何提升？
• RQ3 在低光照和高动态范围场景下，各模态（RGB、事件、热成像）对最终果实检测性能的贡献如何？
• RQ4 所提出的正则化损失在多模态输入中对特征对齐和重建保真度的提升程度如何？
• RQ5 与最先进 NeRF 方法相比，AgriNeRF 在不同光照条件下（如清晨、正午、傍晚和阴影区域）的性能表现如何？

主要发现

• 与先前 NeRF 方法相比，AgriNeRF 在 RGB 场景重建中 PSNR 提升了 +2.06 dB，SSIM 提升了 +8.3%，表明在光照变化条件下具有更高的保真度。
• 跨谱 NeRF 在果实检测中实现 mAP50 提升 +44.8%，mAP50-95 提升 +55.7%，相较于第二好的方法表现更优，尤其在低光照条件下优势显著。
• 在低光照序列（如花园番茄和茄子数据集）中，跨谱重建可检测到 RGB 单一重建中不可见的果实，mAP50 最高达到基线方法的 3 倍。
• 消融实验证实，结合全部三种模态（RGB、事件、热成像）可获得最高的果实检测性能，mAP50 提升 +65.3%，召回率提升 +608%（相较于仅使用 RGB）。
• 在低光照序列中，热成像因果实的热信号而占主导地位，而事件相机则在减少运动模糊和扩展动态范围方面发挥关键作用。
• 尽管在大多数条件下表现优异，系统在完全黑暗环境中仍表现不佳，因缺乏可见光或热辐射，凸显其在夜间应用中的局限性。