[논문 리뷰] Estimating Phenotypic Traits From UAV Based RGB Imagery

Javier Ribera, Fangning He외 3명|arXiv (Cornell University)|2018. 07. 02.

Remote Sensing in Agriculture참고 문헌 17인용 수 15

한 줄 요약

이 논문은 저비용 소비자용 드론을 활용한 UAV 기반 RGB 영상 처리 파이프라인을 제안하여, 잎 수, 잎 면적 및 식물 위치와 같은 스orghum의 형질을 비파괴적으로 추정한다. 카메라 캘리브레이션, 구조에서 운동(SfM), 그리고 새로운 삼각측량 기반 오р토사진 모자이크 생성을 융합함으로써 왜곡 보정된 영상에서 정확하고 비파괴적인 형질 분석을 가능하게 하였으며, 위치 추정의 RMSE가 0.03–0.04 m로 높은 정확도를 달성하였다.

ABSTRACT

In many agricultural applications one wants to characterize physical properties of plants and use the measurements to predict, for example biomass and environmental influence. This process is known as phenotyping. Traditional collection of phenotypic information is labor-intensive and time-consuming. Use of imagery is becoming popular for phenotyping. In this paper, we present methods to estimate traits of sorghum plants from RBG cameras on board of an unmanned aerial vehicle (UAV). The position and orientation of the imagery together with the coordinates of sparse points along the area of interest are derived through a new triangulation method. A rectified orthophoto mosaic is then generated from the imagery. The number of leaves is estimated and a model-based method to analyze the leaf morphology for leaf segmentation is proposed. We present a statistical model to find the location of each individual sorghum plant.

연구 동기 및 목표

• 외부 농업 현장에서 식물 형질을 비파괴적으로 추정하기 위한 저비용 방법을 개발한다.
• 광범위한 줄기 렌즈의 심한 기하학적 왜곡 문제를 해결하기 위해 고도화된 카메라 캘리브레이션과 삼각측량 기법을 적용한다.
• UAV 영상에서 정규화된 오르토사진 모자이크를 생성하여 정확한 형질 추정을 가능하게 한다.
• 색상 기반 분할 및 통계 모델링을 활용해 실세계 현장 조건에서의 식물 및 잎 탐지 정확도를 향상시킨다.
• 소비자용 UAV와 RGB 카메라를 활용한 스케일업 가능한 자동화된 형질 분석을 실현한다.

제안 방법

• 광각 렌즈의 반사 및 이심 렌즈 왜곡을 보정하기 위해 USGS SMAC 왜곡 모델을 사용한 카메라 캘리브레이션.
• 비행 경로 사전 지식을 활용한 구조에서 운동(SfM) 기반 외부 정렬 파rameter(EOP) 추정 및 흩어진 3차원 점군 생성.
• 희박한 점들의 3차원 좌표를 계산하고 EOP를 정밀하게 보정하기 위한 새로운 삼각측량 방법을 통한 기하학적 정확도 향상.
• 캘리브레이션된 카메라 파rameter, EOP 및 3차원 점군을 사용하여 오르토보정된 모자이크를 생성함으로써 왜곡이 없는 지도 기반 영상을 확보.
• perspective 영상, 왜곡 보정 영상 및 오르토보정 영상에서 HSV 임계값(τ₁=30, τ₂=79, τ₃=30, τ₄=163)을 활용한 색상 기반 잎 분할.
• 비볼록 비용 함수를 사용한 반복 최적화 기반의 통계적 식물 위치 모델링을 통해 모자이크 상의 식물 위치 추정.

실험 결과

연구 질문

• RQ1 저비용 UAV에 장착된 RGB 카메라가 실외 농업 현장 조건에서 정확한 형질 추정을 가능하게 하는가?
• RQ2 광각 카메라에서 발생하는 심한 렌즈 왜곡을 형질 분석에 효과적으로 보정할 수 있는가?
• RQ3 원본 영상 또는 왜곡 보정 영상에 비해 오르토보정 모자이크 생성이 잎 및 식물 탐지 정확도에 얼마나 기여하는가?
• RQ4 잎의 밀도 및 공간 분포 기반의 통계 모델이 현장에서 개별 식물의 위치를 신뢰성 있게 추정할 수 있는가?
• RQ5 UAV 비행 경로 데이터의 통합이 3차원 복원 및 영상 정규화의 강건성에 어떻게 기여하는가?

주요 결과

• 제안된 방법은 3차원 점 위치 추정에서 X, Y, Z 좌표의 RMSE가 각각 0.03 m, 0.03 m, 0.04 m로 기하학적 정확도가 매우 높음을 입증하였다.
• 오르토보정 모자이크 상에서 색상 기반 분할을 통해 명확한 시각적 결과를 도출하였으며, 지역적 잎 밀도를 나타내는 히트맵을 제공하여 신뢰할 수 있는 잎 수 계산이 가능하였다.
• 비볼록 비용 함수를 최소화하는 통계적 식물 위치 모델링이 성공적으로 식물 위치를 추정하였으며, 시험 지역에서 최소값이 실제 측정값과 매우 유사하였다.
• UAV RGB 영상에서 생성된 오르토보정 모자이크는 수동 개입 최소화로도 잎 수 및 면적과 같은 정확한 형질 추정을 가능하게 하였다.
• 특히 고정익 및 큐브코pter UAV 데이터에서 나지드 각도 및 고도 가정의 변화에 대해 강건함을 입증하였다.
• HSV 기반 분할에 대한 실험적 임계값(τ₁=30, τ₂=79, τ₃=30, τ₄=163)은 효과적이었지만 생육 단계 및 조도 조건에 따라 변화하여 재조정이 필요함을 확인하였다.