[論文レビュー] AgriNeRF: Neural Radiance Fields for Agriculture in Challenging Lighting Conditions

Samarth Chopra, Fernando Cladera+2 more|arXiv (Cornell University)|Sep 23, 2024

Remote Sensing in Agriculture被引用数 4

ひとこと要約

AgriNeRF は、農業分野における困難な照明条件下でも耐障害性の高い 3D モデリングと果物検出を可能にする、RGB、イベント、赤外カメラを統合したマルチモーダル神経レンダリング場のフレームワークを提案する。RGB 再構築においては +2.06 dB の PSNR 向上と +8.3% の SSIM 向上を達成し、クロススペクトル統合により果物検出で +44.8% の mAP50 の向上を示した。低照度や照明変動が激しい状況において、単一モダリティベースラインを著しく上回った性能を発揮した。

ABSTRACT

Neural Radiance Fields (NeRFs) have shown significant promise in 3D scene reconstruction and novel view synthesis. In agricultural settings, NeRFs can serve as digital twins, providing critical information about fruit detection for yield estimation and other important metrics for farmers. However, traditional NeRFs are not robust to challenging lighting conditions, such as low-light, extreme bright light and varying lighting. To address these issues, this work leverages three different sensors: an RGB camera, an event camera and a thermal camera. Our RGB scene reconstruction shows an improvement in PSNR and SSIM by +2.06 dB and +8.3% respectively. Our cross-spectral scene reconstruction enhances downstream fruit detection by +43.0% in mAP50 and +61.1% increase in mAP50-95. The integration of additional sensors leads to a more robust and informative NeRF. We demonstrate that our multi-modal system yields high quality photo-realistic reconstructions under various tree canopy covers and at different times of the day. This work results in the development of a resilient NeRF, capable of performing well in visibly degraded scenarios, as well as a learnt cross-spectral representation, that is used for automated fruit detection.

研究の動機と目的

• 低照度、高ダイナミックレンジ、照明変動が激しい環境下で、従来の NeRF が果たせない性能を改善すること。
• 1 日を通じて照明が大きく変化する実際の果樹園や庭園において、3D モデル再構築の忠実度を向上させること。
• 可視光帯と赤外帯の補完的特徴を活用することで、果物検出の精度を向上させるクロススペクトル NeRF 表現を開発すること。
• 農業分野の NeRF 研究を促進するため、RGB、イベント、赤外、LiDAR、IMU のデータを統合した新規のリアルワールドマルチモーダルデータセットを構築すること。
• マルチモーダル統合が、精密農業応用におけるより耐障害的かつ高精度なデジタルツインを実現することを実証すること。

提案手法

• RGB、イベント、赤外カメラの3つのセンサーを統合し、多様な照明条件下でマルチスペクトルのシーンデータを収集する統合センサーセットを構築。
• RGB、イベント、赤外フレーム間の特徴相関を最大化する正則化損失関数を提案し、RGB 再構築の忠実度を向上させる。
• 可視光（RGB）と赤外（赤外）帯の特徴を統合する共同クロススペクトル NeRF を訓練し、耐障害性の高いマルチスペクトル 3D シーン表現を生成。
• イベントカメラのデータを活用して時間分解能を向上させ、動きぼけの低減を実現し、動的または低照度のシーンにおける再構築品質を向上。
• 位置符号化とボリュームレンダリングを組み合わせたマルチビュー NeRF アーキテクチャを採用し、クロススペクトル特徴統合に対応可能に変更。
• RGB、赤外、イベント、LiDAR、IMU の各センサー間で同期されたデータ収集が可能な自作センサーセットを用いて、リアルワールドのデータ収集を実施。

実験結果

リサーチクエスチョン

• RQ1 RGB、イベント、赤外カメラの統合が、農業環境における困難な照明条件下で NeRF の再構築品質を顕著に向上させることができるか？
• RQ2 クロススペクトル NeRF 再構築は、単一モダリティの RGB NeRF と比較して、果物検出性能をどのように向上させるか？
• RQ3 低照度および高ダイナミックレンジ環境下において、各モダリティ（RGB、イベント、赤外）が最終的な果物検出性能に果たす寄与度はどの程度か？
• RQ4 提案された正則化損失が、マルチモーダル入力間の特徴整合性と再構築忠実度をどの程度向上させるか？
• RQ5 AgriNeRF の性能は、朝、昼、夕方、影の入った領域など、さまざまな照明条件下で、最先端の NeRF 手法と比較してどの程度異なるか？

主な発見

• AgriNeRF は、変動する照明条件下でも、従来の NeRF 手法と比較して、RGB シーン再構築において +2.06 dB の PSNR 向上と +8.3% の SSIM 向上を達成し、優れた忠実度を示した。
• クロススペクトル NeRF は、2番目に優れた手法と比較して、mAP50 で +44.8%、mAP50-95 で +55.7% の向上を達成。特に低照度条件下で顕著な性能向上を示した。
• 庭園のトマトやナスの低照度シーケンスにおいて、RGB 僅どの再構築では検出できない果物がクロススペクトル再構築で検出可能となり、ベースライン手法と比較して最大 3 倍の mAP50 を達成した。
• アブレーションスタディの結果、RGB、イベント、赤外の3モダリティを統合した場合が、最も高い果物検出性能を示し、mAP50 で +65.3%、リCALL で +608% の向上を達成した。
• 低照度シーケンスでは赤外画像が果物の熱的特徴を強力に活用し、支配的であった一方、イベントカメラは動きぼけ低減とダイナミックレンジ拡張に貢献した。
• ほとんどの条件下で優れた性能を示したが、完全な暗黒状態では可視光や赤外放射が欠落するため、夜間用途では限界を示した。