[논문 리뷰] Exploring Accurate 3D Phenotyping in Greenhouse through Neural Radiance Fields

unhong Zhao, Ying Wei외 5명|arXiv (Cornell University)|2024. 03. 24.

Greenhouse Technology and Climate Control인용 수 5

한 줄 요약

본 논문은 온실에서의 현장 3D 식물 표현형 분석을 위한 NeRF 기반 방법을 개발하고, 스케일 복원과 시맨틱 세분화를 포함하여 3D 스캐너와 경쟁력 있는 정확도와 향상된 강건성을 달성한다.

ABSTRACT

Accurate collection of plant phenotyping is critical to optimising sustainable farming practices in precision agriculture. Traditional phenotyping in controlled laboratory environments, while valuable, falls short in understanding plant growth under real-world conditions. Emerging sensor and digital technologies offer a promising approach for direct phenotyping of plants in farm environments. This study investigates a learning-based phenotyping method using the Neural Radiance Field to achieve accurate in-situ phenotyping of pepper plants in greenhouse environments. To quantitatively evaluate the performance of this method, traditional point cloud registration on 3D scanning data is implemented for comparison. Experimental result shows that NeRF(Neural Radiance Fields) achieves competitive accuracy compared to the 3D scanning methods. The mean distance error between the scanner-based method and the NeRF-based method is 0.865mm. This study shows that the learning-based NeRF method achieves similar accuracy to 3D scanning-based methods but with improved scalability and robustness.

연구 동기 및 목표

• 실제 온실 환경에서 정확한 현장 식물 표현형 분석을Motivate
• 고파프 재배 식물에 대해 NeRF 기반 3D 재구성 접근법을 고정밀 3D 스캐너와 비교 평가한다.
• NeRF 재구성에서의 스케일 모호성을 스케일 복원 방법으로 해결한다.
• 3D 시맨틱 세분화를 도입하여 표현형 검출 및 측정의 정확성을 높인다.
• 농업 현장에서 NeRF 기반 표현형 분석의 강건성 및 일반화 가능성을 평가한다.

제안 방법

• Neural Radiance Fields (NeRF)을 사용하여 다중 시점 이미지로부터 3D 장면을 재구성한다.
• Instant-NGP 및 Neus 변형을 채택하여 학습 속도와 표면 정확도를 높인다.
• Calibration plate를 이용한 스케일 복원 파이프라인을 도입하여 실제 모델 스케일을 회복한다.
• phenotype 추출을 위한 3D 시맨틱 세분화 네트워크(PointNet 기반)를 도입한다.
• NeRF 기반 재구성 결과와 고정밀 스캐너 포인트 클라우드를 평균 거리 지표로 비교한다.
• PSNR 및 SSIM으로 재구성 품질을 평가하고 스케일 보정 후 표현형 측정 값을 보고한다.

실험 결과

연구 질문

• RQ1 온실에서 pepper 식물 표현형 분석을 위한 NeRF 기반 3D 재구성이 고정밀 3D 스캐너와 어떻게 비교되는가?
• RQ2 NeRF 재구성에서 스케일 복원이 표현형 분석의 정확한 장면 치수를 재현하는 데 기여하는가?
• RQ3 3D 시맨틱 세분화 네트워크의 도입이 표현형 검출 및 측정 정확도에 어떤 영향을 미치는가?
• RQ4 Fast NeRF 변형(Instant-NGP, Instant-NSR)이 이 분야의 전통적인 다중 시점 스테레오(MVS)와 비교해 어떤 성능을 보이는가?

주요 결과

• NeRF 기반 재구성은 스캐너 기반 방법에 비해 평균 포인트 거리 0.865 mm를 달성한다.
• Instant-NGP와 Instant-NSR은 PSNR/SSIM에서 이전의 다중 시점 재구성 방법보다 우수하며 더 빠른 학습 시간을 보인다; Instant-NSR(Ours)은 28.74 dB PSNR 및 0.810 SSIM을 달성한다.
• 스케일 복원은 보정 후 1% 미만의 오차로 표현형 측정을 가능하게 한다; Instant-NSR은 보정된 경우 0.094% 차이로, Instant-NGP의 0.204% 및 3D 스캐너의 0.151%보다 우수하다.
• 스케일 복원 후 표현형 측정(높이/너비)은 Instant-NSR이 실제 값에서 0.094% 편차를 보이며, Instant-NGP(0.204%) 및 스캐너(0.151%)를 능가한다.
• 3D 시맨틱 세분화 네트워크(PointNet 기반)는 혼잡한 온실 현장에서 과일 영역의 견고한 추출을 가능하게 하여 표현형 분석의 정확성을 높인다.