[논문 리뷰] Evaluating Neural Radiance Fields (NeRFs) for 3D Plant Geometry Reconstruction in Field Conditions

Muhammad Arshad, Talukder Z. Jubery외 6명|arXiv (Cornell University)|2024. 02. 15.

Surface Roughness and Optical Measurements인용 수 4

한 줄 요약

이 논문은 현장 조건에서 식물의 3D 재구성에 대해 신경형광장치(NeRFs)를 평가하며, GPU에서 30분 간의 훈련으로 74.65%의 F1 스코어를 달성함을 보여준다. 연구는 복잡도가 증가하는 조건에서 NeRF 변종을 비교하며, LiDAR 스캔을 기준 진짜값으로 사용하고, 샘플링 전략과 자세 보정 기능이 향상된 Nerfacto가 가장 효과적임을 규명한다.

ABSTRACT

We evaluate different Neural Radiance Fields (NeRFs) techniques for the 3D reconstruction of plants in varied environments, from indoor settings to outdoor fields. Traditional methods usually fail to capture the complex geometric details of plants, which is crucial for phenotyping and breeding studies. We evaluate the reconstruction fidelity of NeRFs in three scenarios with increasing complexity and compare the results with the point cloud obtained using LiDAR as ground truth. In the most realistic field scenario, the NeRF models achieve a 74.6% F1 score after 30 minutes of training on the GPU, highlighting the efficacy of NeRFs for 3D reconstruction in challenging environments. Additionally, we propose an early stopping technique for NeRF training that almost halves the training time while achieving only a reduction of 7.4% in the average F1 score. This optimization process significantly enhances the speed and efficiency of 3D reconstruction using NeRFs. Our findings demonstrate the potential of NeRFs in detailed and realistic 3D plant reconstruction and suggest practical approaches for enhancing the speed and efficiency of NeRFs in the 3D reconstruction process.

연구 동기 및 목표

• 실제 현장 환경에서 복잡한 식물 형상을 갖는 3D 재구성에 대해 NeRF 기반 기법의 실현 가능성과 성능을 평가하는 것.
• 실내에서 실외 현장 환경으로 점점 복잡도가 증가하는 조건에서, 다양한 NeRF 변종 간의 성능을 비교하는 것.
• 식물 형태학적 재구성 정확도 평가를 위해 LiDAR에서 유도된 점군을 기준 진짜값으로 사용하여 벤치마크를 수립하는 것.
• 향후 농업 분야의 NeRF 응용 연구를 위해 재사용 가능한 평가 프레임워크와 데이터셋을 개발하는 것.

제안 방법

• 연구는 제어된 실내, 반제어된 실외, 그리고 현실적인 현장 조건의 세 가지 평가 시나리오를 활용하며, 점차 복잡도가 증가하는 방식으로 진행된다.
• NeRF 모델은 다양한 카메라 자세에서 촬영한 다중 시점 RGB 이미지를 사용하여 훈련되며, 현장 적용에 최적화된 훈련 시간이 설정된다.
• 정량적 평가를 위해 기준 진짜값으로 LiDAR에서 유도된 점군을 사용하며, F1 스코어 및 구조적 유사도 비교가 가능하다.
• 평가 프레임워크는 F1 스코어, 구조적 유사도, 추론 속도 등의 지표를 포함하며, 샘플링 전략에 대한 분석 실험도 수반된다.
• 복잡한 식물 시나리오에서의 샘플링 효율성과 렌더링 품질 향상을 위해 Nerfacto의 제안 네트워크와 밀도 필드를 활용한다.
• 세밀한 구조를 캡처하기 위해 카메라 자세 보정 및 조각별 샘플링 전략을 통합하여, 장면의 근거리 및 원거리 영역 모두에서 품질을 향상시킨다.

실험 결과

연구 질문

• RQ1 비제어적인 현장 조건에서 NeRFs는 식물 형상의 정확하고 세밀한 3D 재구성을 달성할 수 있는가?
• RQ2 현장 제약 조건 하에서 다양한 NeRF 변종(예: Instant-NGP, Nerfacto)의 재구성 품질과 추론 효율성은 어떻게 비교되는가?
• RQ3 샘플링 전략과 자세 보정이 식물 구조 재구성의 정밀도에 어떤 영향을 미치는가?
• RQ4 NeRFs는 식물의 미세한 구조, 예를 들어 잎맥이나 분지 패턴을 포착하는 데 기존의 사진측량 기법을 얼마나 뛰어넘을 수 있는가?

주요 결과

• 가장 현실적인 현장 시나리오에서, NeRF 모델은 GPU에서 단 30분 간의 훈련으로도 74.65%의 F1 스코어를 달성하여 실제 환경 조건에서 뛰어난 성능을 보였다.
• Nerfacto는 제안 네트워크와 카메라 자세 보정 기능을 포함한 고도화된 샘플링 전략 덕분에 다른 NeRF 변종보다 뛰어난 성능을 보였다. 이는 이미지의 선명도와 세부 구조 정확도 향상에 기여했다.
• LiDAR에서 유도된 점군을 기준 진짜값으로 사용함으로써 신뢰할 수 있는 정량적 평가가 가능해졌으며, NeRFs가 높은 정밀도로 미세한 식물 구조를 재구성할 수 있음을 확인했다.
• Instant-NGP는 더 빠른 추론 속도를 보였지만, 특히 기하학적 복잡도가 높은 영역에서 정밀도가 떨어지는 샘플링으로 인해 결과가 더 흐릿한 경향을 보였다.
• 연구는 향후 농업 분야의 NeRF 연구를 위한 공개 가능한 RGB 이미지 및 해당 LiDAR 스캔 데이터셋을 제공한다.
• 개발된 평가 프레임워크는 NeRF 모델 간의 체계적 비교를 가능하게 하며, 식물 3D 재구성 분야에서 재현 가능하고 확장 가능한 연구를 지원한다.