[논문 리뷰] Agricultural Plant Cataloging and Establishment of a Data Framework from UAV-based Crop Images by Computer Vision

Maurice Günder, Facundo Ramón Ispizua Yamati외 4명|arXiv (Cornell University)|2022. 01. 08.

Smart Agriculture and AI참고 문헌 38인용 수 29

한 줄 요약

이 논문은 드론 기반 농작물 영상에서 개별 식물을 자동으로 시공간적으로 카탈로그화하는 컴퓨터 비전 기반 워크플로우를 제시한다. 이는 대규모 시공간 분석을 가능하게 한다. RGB 영상 처리, 피크 검출, 기하학적 정렬을 활용함으로써, 딥러닝 수준의 정확도를 달성하면서도 수동 작업을 최소화하여 질병 심각도 분류와 같은 후속 작업을 지원한다.

ABSTRACT

UAV-based image retrieval in modern agriculture enables gathering large amounts of spatially referenced crop image data. In large-scale experiments, however, UAV images suffer from containing a multitudinous amount of crops in a complex canopy architecture. Especially for the observation of temporal effects, this complicates the recognition of individual plants over several images and the extraction of relevant information tremendously. In this work, we present a hands-on workflow for the automatized temporal and spatial identification and individualization of crop images from UAVs abbreviated as "cataloging" based on comprehensible computer vision methods. We evaluate the workflow on two real-world datasets. One dataset is recorded for observation of Cercospora leaf spot - a fungal disease - in sugar beet over an entire growing cycle. The other one deals with harvest prediction of cauliflower plants. The plant catalog is utilized for the extraction of single plant images seen over multiple time points. This gathers large-scale spatio-temporal image dataset that in turn can be applied to train further machine learning models including various data layers. The presented approach improves analysis and interpretation of UAV data in agriculture significantly. By validation with some reference data, our method shows an accuracy that is similar to more complex deep learning-based recognition techniques. Our workflow is able to automatize plant cataloging and training image extraction, especially for large datasets.

연구 동기 및 목표

• 밀도 높은 농작물 우거짐에서 여러 드론 영상 간에 개별 식물을 식별하고 추적하는 과제를 해결한다.
• 비싼 센서나 수동 애너테이션에 의존하지 않는 완전 자동화되고 확장 가능한 식물 카탈로그 워크플로우를 개발한다.
• 정밀 농업에서 기계 학습 모델을 훈련시키기 위한 대규모 시간 해상도 영상 데이터셋 구축을 가능하게 한다.
• 일致하고 지오레퍼런싱된 식물 데이터를 제공함으로써 질병 진행 상황 분석 및 형질 특성 추출과 같은 애플리케이션을 지원한다.
• 실제 현장 조건에서 사탕무와 양배추와 같은 다양한 작물 유형에 대해 본 방법의 강건성을 입증한다.

제안 방법

• 식물-토양 분할을 사용하여 다중 시간적, 다중 스펙트럼 드론 영상을 처리하여 개별 식물을 분리한다.
• RGB 영상에서 식물 중심 국소화를 위한 피크 검출을 향상시키기 위해 적응형 가우시안 블러 필터링을 적용한다.
• 공간적 근접성과 시간적 일관성을 기반으로 시간대 간 피크를 그룹화하여 시간에 따른 추적을 가능하게 한다.
• 지상 기준점(GCP)을 통합하여 지오레퍼런싱을 수행함으로써 글로벌 좌표(WGS84)에서 1cm 이내 정확도를 확보한다.
• 씨앗 줄선 감지 및 기하학적 정렬을 활용하여 식물 카탈로그를 정밀하게 보정하고 임의의 양성 결과를 감소시킨다.
• 개별 식물을 위한 시간 시리즈 영상 패치를 추출하여 후속 분석 및 모델 훈련을 가능하게 한다.

실험 결과

연구 질문

• RQ1 딥러닝이나 전용 센서 없이도 컴퓨터 비전 기반 워크플로우가 드론 RGB 영상에서 정확하고 자동으로 식물을 카탈로그화할 수 있는가?
• RQ2 제안된 방법은 밀도 높고 복잡한 농작물 우거짐에서 여러 시간대에 걸쳐 개별 식물을 얼마나 효과적으로 추적할 수 있는가?
• RQ3 생성된 식물 카탈로그가 질병 심각도 분류와 같은 후속 기계 학습 작업을 어느 정도 지원할 수 있는가?
• RQ4 정확도와 확장성 측면에서 복잡한 딥러닝 기반 접근법에 비해 제안된 방법의 성능는 어떻게 비교되는가?
• RQ5 이 프레임워크는 고밀도 잡초나 밀폐된 식생을 가진 다양한 작물 유형과 현장 조건에 일반화될 수 있는가?

주요 결과

• 제안된 워크플로우는 복잡한 딥러닝 방법과 비교해도 식물 검출 정확도가 유사하여 대규모 응용 분야에서의 실현 가능성을 입증한다.
• 본 방법은 여러 차례 드론 비행에 걸쳐 일致하고 시간 해상도가 높은 개별 식물 영상 패치 추출을 성공적으로 수행한다.
• 추출된 식물 영상을 사용해 훈련한 ResNet-50 모델은 혼동 행렬을 통해 강력한 분류 성능를 보였으며, 예측의 90.7%가 진짜 질병 심각도 클래스 1(완전히 건강한 상태)로 정확히 할당되었다.
• 프레임워크는 고속 데이터 생성을 지원하여 강력한 기계 학습 모델을 훈련시키기 위한 대규모 애너테이션 처리된 데이터셋 구축을 가능하게 한다.
• 피크 검출에 오직 RGB 영상만을 사용하는 것이 식물 카탈로그화의 신뢰성 있는 수행에 충분함을 입증하여 하드웨어 및 데이터 확보 장벽을 감소시킨다.
• 워크플로우는 매우 자동화되고 확장 가능하며, 당근 시험 데이터셋에서 수많은 작은 구역을 대상으로 병렬 처리가 가능함을 입증하여 여러 농장이나 하위 지역에서의 적용 가능성을 보였다.