[논문 리뷰] Tree Morphology for Phenotyping from Semantics-Based Mapping in Orchard Environments

Wenbo Dong, Volkan Isler|arXiv (Cornell University)|2018. 04. 16.

Remote Sensing and LiDAR Applications참고 문헌 27인용 수 6

한 줄 요약

이 논문은 오렌지 농장 환경에서 나무 형태를 정확하게 추정하기 위해 오직 RGB-D 카메라만을 사용하는 시각 기반 시스템을 제안한다. 높이, 수관 부피, 줄기 지름을 포함한 나무 형태를 추정한다. 양측의 수로에서 3차원 재구성 결과를 의미론적 사전 지식(줄기 및 지면 평면)을 활용해 융합하고, 강력한 피팅 및 의미론적 SfM을 적용함으로써 높은 정확도를 달성하였으며, 높이의 평균 오차는 4cm, 줄기 지름의 평균 오차는 0.49cm였다.

ABSTRACT

Measuring tree morphology for phenotyping is an essential but labor-intensive activity in horticulture. Researchers often rely on manual measurements which may not be accurate for example when measuring tree volume. Recent approaches on automating the measurement process rely on LIDAR measurements coupled with high-accuracy GPS. Usually each side of a row is reconstructed independently and then merged using GPS information. Such approaches have two disadvantages: (1) they rely on specialized and expensive equipment, and (2) since the reconstruction process does not simultaneously use information from both sides, side reconstructions may not be accurate. We also show that standard loop closure methods do not necessarily align tree trunks well. In this paper, we present a novel vision system that employs only an RGB-D camera to estimate morphological parameters. A semantics-based mapping algorithm merges the two-sides 3D models of tree rows, where integrated semantic information is obtained and refined by robust fitting algorithms. We focus on measuring tree height, canopy volume and trunk diameter from the optimized 3D model. Experiments conducted in real orchards quantitatively demonstrate the accuracy of our method.

연구 동기 및 목표

• LIDAR 기반 나무 형태 추정 기술의 한계를 해결하기 위해, 고가의 센서가 필요하고 양측 스캔를 융합할 때 정렬 오류가 발생하는 문제를 해결하고자 한다.
• 저비용의 비전 전용 솔루션을 개발하여 실제 농장 환경에서 정확한 3차원 재구성 및 형태적 매개변수 추정을 가능하게 하고자 한다.
• 장거리 RGB-D 비디오 시퀀스에서 발생하는 자세 드리프트 및 정렬 오류를 해결하기 위해 의미론적 사전 지식(줄기 및 지면 평면)을 재구성 파이프라인에 통합하고자 한다.
• GPS나 전용 하드웨어에 의존하지 않고도 자동으로 정확한 나무 높이, 수관 부피, 줄기 지름 측정을 가능하게 하고자 한다.
• 현존하는 LIDAR-GNSS 시스템에 대한 확장 가능하고 저비용의 대안을 제공함으로써 정밀 농업에서의 형질 분석에 기여하고자 한다.

제안 방법

• 시스템은 농장의 수로 양측에서 3차원 데이터를 촬영하기 위해 막대나 이동식 플랫폼에 장착된 RGB-D 카메라를 사용한다.
• 의미론적 인식 SfM를 사용하여 각 측면의 3차원 재구성을 별도로 수행하며, 초기 줄기 지름과 국부적 지면 평면을 추정하기 위해 강력한 피팅을 적용한다.
• 의미론적 사전 지식—특히 줄기 영역과 평면 지면 패치—를 활용하여 양측 3차원 모델을 정렬하고 융합하여 글로벌 최적화된 재구성 결과를 도출한다.
• 줄기 지름 및 지면 평면 추정치를 SfM 프레임워크에 통합하여 정위치 정확도를 향상시키고 드리프트를 감소시킨다.
• 최적화된 알파 반경(0.8m)을 사용한 알파 색체 분할을 통해 수관 부피를 계산하여 구멍을 방지하고 과대 추정을 최소화한다.
• 정밀화된 융합된 3차원 모델에서 자동 세그멘테이션 및 기하학적 피팅을 통해 나무 높이와 지름을 추정한다.

실험 결과

연구 질문

• RQ1 오직 RGB-D 카메라만을 사용하는 시각 기반 시스템이 실제 농장 환경에서 정확한 나무 형태 추정을 달성할 수 있는가?
• RQ2 단일 카메라 경로에서의 양측 3차원 재구성 결과를 정렬하고 융합하는 데 의미론적 사전 지식(줄기 및 지면)을 효과적으로 활용할 수 있는가?
• RQ3 이 방법을 통해 나무 높이, 수관 부피, 줄기 지름 추정의 가능 정확도는 참값과 비교해 얼마나 되는가?
• RQ4 강력한 기하학적 피팅과 의미론적 SfM는 낮은 무늬, 바람에 의한 움직임이 있는 외부 농장 환경에서 자세 드리프트를 줄이고 재구성 품질을 향상시킬 수 있는가?
• RQ5 알파 반경의 선택은 수관 부피 추정에 어떤 영향을 미치며, 어떤 값이 정확도와 현실성의 최적화를 이룬다?

주요 결과

• 14개의 나무를 포함한 Dataset-III에서 나무 높이 추정 평균 오차가 4cm로 실제 환경 조건에서도 높은 정확도를 입증하였다.
• 14개의 나무를 포함한 Dataset-II에서 줄기 지름 추정 평균 오차는 0.49cm로 소형 지름의 줄기에서도 뛰어난 성능을 보였다.
• 낮은 무늬, 바람이 많은 농장 환경에서 표준 SfM 및 SLAM 기술에 비해 자세 추정 및 모델 정렬 측면에서 뛰어난 성능을 보였다.
• 최적화된 반경 0.8m를 사용한 알파 색체를 통한 수관 부피 추정은 구멍이 없는 안정적인 모델을 생성하였으며, 단순 실린더 모델 대비 과대 추정을 방지하였다.
• SfM 프레임워크에 의미론적 사전 지식(줄기 및 지면)을 통합함으로써 양측 재구성 결과의 정렬이 크게 향상되었으며, ICP 기반 또는 루프 클로징 전용 방법에서 흔히 발생하는 정렬 오류를 감소시켰다.
• 이 시스템은 오직 RGB-D 카메라만을 사용하여 정확한 나무 형태 추정을 달성한 최초의 시스템으로, 고가의 LIDAR나 GPS 시스템이 필요 없어졌다.