[논문 리뷰] AgriNeRF: Neural Radiance Fields for Agriculture in Challenging Lighting Conditions

Samarth Chopra, Fernando Cladera외 2명|arXiv (Cornell University)|2024. 09. 23.

Remote Sensing in Agriculture인용 수 4

한 줄 요약

AgriNeRF는 농업 환경에서 어려운 조명 조건(저조도, 고역동 범위, 변동 조도 등)에서도 견고한 3D 시각 재구성과 과일 검출을 가능하게 하기 위해 RGB, 이벤트, 열화상 카메라를 융합하는 다중 모odal 신경 렌더링 장면 프레임워크를 제안한다. 저조도 및 변동 조도 조건에서 단일 모odal 기반 보다 유의하게 뛰어난 성능을 보이며, RGB 재구성에서 +2.06 dB PSNR와 +8.3% SSIM 향상을 달성하고, 과일 검출에서는 교차 스펙트럼 융합을 통해 +44.8% mAP50 향상을 이룬다.

ABSTRACT

Neural Radiance Fields (NeRFs) have shown significant promise in 3D scene reconstruction and novel view synthesis. In agricultural settings, NeRFs can serve as digital twins, providing critical information about fruit detection for yield estimation and other important metrics for farmers. However, traditional NeRFs are not robust to challenging lighting conditions, such as low-light, extreme bright light and varying lighting. To address these issues, this work leverages three different sensors: an RGB camera, an event camera and a thermal camera. Our RGB scene reconstruction shows an improvement in PSNR and SSIM by +2.06 dB and +8.3% respectively. Our cross-spectral scene reconstruction enhances downstream fruit detection by +43.0% in mAP50 and +61.1% increase in mAP50-95. The integration of additional sensors leads to a more robust and informative NeRF. We demonstrate that our multi-modal system yields high quality photo-realistic reconstructions under various tree canopy covers and at different times of the day. This work results in the development of a resilient NeRF, capable of performing well in visibly degraded scenarios, as well as a learnt cross-spectral representation, that is used for automated fruit detection.

연구 동기 및 목표

• 저조도, 고역동 범위, 변동 조도와 같은 어려운 조명 조건에서 전통적인 NeRF의 성능 저하 문제를 해결하기 위해.
• 하루 동안 조도가 크게 변하는 실세계의 과수원 및 정원 환경에서 3D 시각 재구성의 정밀도를 향상시키기 위해.
• 가시광선 대역과 적외선 대역 간 상보적인 정보를 활용하여 과일 검출 성능을 향상시키는 교차 스펙트럼 NeRF 표현을 개발하기 위해.
• 농업 NeRF 연구를 위한 새로운 실세계 다중 모달 데이터셋(_RGB, 이벤트, 열화상, LiDAR, IMU 데이터 포함_)을 구축하기 위해.
• 다중 모달 융합이 정밀 농업 응용 분야에서 더 견고하고 정확한 디지털 트윈을 생성하는 데 기여함을 입증하기 위해.

제안 방법

• 저조도 및 다양한 조도 조건에서 다중 스펙트럼 시각 데이터를 캡처하기 위해 RGB, 이벤트, 열화상 카메라를 통합한 단일 센서 유닛을 구현한다.
• RGB, 이벤트, 열화상 프레임 간의 특징 상관관계를 극대화하는 정규화 손실을 제안하여 RGB 재구성 정밀도를 향상시킨다.
• 가시광선(_RGB)과 적외선(열화상) 대역의 특징을 융합하여 견고한 다중 스펙트럼 3D 시각 재구성 표현을 생성하는 공동 교차 스펙트럼 NeRF를 훈련시킨다.
• 이벤트 카메라 데이터를 활용해 시간 해상도를 향상시키고 운동 왜곡을 감소시켜, 동적인 또는 저조도 환경에서의 재구성 품질을 향상시킨다.
• 위치 인코딩과 볼륨 렌더링을 적용한 다중 시점 NeRF 아키텍처를 활용하며, 교차 스펙트럼 특징 융합을 처리할 수 있도록 조정한다.
• 실세계 데이터 수집을 위해 RGB, 열화상, 이벤트, LiDAR, IMU 센서 간 동기화된 데이터 수집을 수행하는 자체 제작 센서 유닛을 활용한다.

실험 결과

연구 질문

• RQ1 RGB, 이벤트, 열화상 카메라의 융합이 농업 환경에서 어려운 조명 조건에서 NeRF 재구성 품질을 유의미하게 향상시키는가?
• RQ2 교차 스펙트럼 NeRF 재구성은 단일 모달 RGB NeRF 대비 과일 검출 성능을 어떻게 향상시키는가?
• RQ3 저조도 및 고역동 범위 조건에서 각 개별 모달성(_RGB, 이벤트, 열화상_)이 최종 과일 검출 성능에 기여하는 정도는 어떠한가?
• RQ4 제안된 정규화 손실이 다중 모달 입력 간 특징 정렬 및 재구성 정밀도 향상에 얼마나 기여하는가?
• RQ5 AgriNeRF의 성능은 저조도, 오전, 정오, 저녁, 그림자 지역 등 다양한 조명 조건에서 최신 기술 대비 어떻게 다를까?

주요 결과

• AgriNeRF는 기존 NeRF 방법 대비 RGB 시각 재구성에서 PSNR +2.06 dB, SSIM +8.3% 향상되어 변동 조도 조건에서도 뛰어난 정밀도를 입증한다.
• 교차 스펙트럼 NeRF는 제2의 최고 성능 방법 대비 mAP50 +44.8% 향상 및 mAP50-95 +55.7% 향상되었으며, 특히 저조도 조건에서 뛰어난 성능을 보였다.
• 정원 토마토 및 오이 등 저조도 시퀀스 데이터셋에서는 RGB 단독 재구성에서는 보이지 않는 과일도 교차 스펙트럼 재구성에서 검출되었으며, 기준 방법 대비 최대 3배 높은 mAP50 성능을 달성했다.
• 절단 분석 결과, RGB, 이벤트, 열화상 세 모달성을 모두 융합할 경우 과일 검출 성능이 가장 높았으며, RGB 단독 대비 mAP50 +65.3% 향상 및 재현율 +608% 향상되었다.
• 저조도 시퀀스에서는 과일의 열적 신호 덕분에 열화상 이미징이 지배적이며, 이벤트 카메라는 운동 왜곡 감소 및 역동 범위 확장에 기여한다.
• 다른 조건에서는 뛰어난 성능를 보였지만, 완전한 어둠에서는 가시광선이나 열방출이 없어 시스템이 성능을 발휘하지 못해 야간 응용에 제한이 있음을 시사한다.