[논문 리뷰] Potato Crop Stress Identification in Aerial Images using Deep Learning-based Object Detection

Sujata Butte, Aleksandar Vakanski외 3명|arXiv (Cornell University)|2021. 06. 14.

Smart Agriculture and AI참고 문헌 82인용 수 64

한 줄 요약

이 논문은 저해상도 RGB 및 다중스펙트럼 영상에서 가뭄 스트레스를 받는 러셋 버번크런치 감자 식물의 개별 식물 수준에서의 스트레스를 식별하기 위해 특징 피라미드 네트워크(FPN)에 저수준 의미적 밀집 특징을 통합한 딥러닝 기반 객체 검출 모델인 Retina-UNet-Ag을 제안한다. 이 방법은 테스트 이미지에서 평균 Dice 스코어 계수(DSC) 0.74를 달성하여 실제 현장 조건에서 식물 스트레스를 개별 식물 수준에서 강력하게 탐지함을 보여준다.

ABSTRACT

Recent research on the application of remote sensing and deep learning-based analysis in precision agriculture demonstrated a potential for improved crop management and reduced environmental impacts of agricultural production. Despite the promising results, the practical relevance of these technologies for field deployment requires novel algorithms that are customized for analysis of agricultural images and robust to implementation on natural field imagery. The paper presents an approach for analyzing aerial images of a potato (Solanum tuberosum L.) crop using deep neural networks. The main objective is to demonstrate automated spatial recognition of healthy vs. stressed crop at a plant level. Specifically, we examine premature plant senescence resulting in drought stress on Russet Burbank potato plants. We propose a novel deep learning (DL) model for detecting crop stress, named Retina-UNet-Ag. The proposed architecture is a variant of Retina-UNet and includes connections from low-level semantic representation maps to the feature pyramid network. The paper also introduces a dataset of aerial field images acquired with a Parrot Sequoia camera. The dataset includes manually annotated bounding boxes of healthy and stressed plant regions. Experimental validation demonstrated the ability for distinguishing healthy and stressed plants in field images, achieving an average dice score coefficient (DSC) of 0.74. A comparison to related state-of-the-art DL models for object detection revealed that the presented approach is effective for this task. The proposed method is conducive toward the assessment and recognition of potato crop stress in aerial field images collected under natural conditions.

연구 동기 및 목표

• 실제 항공 영상에서 스트레스를 받는 감자 식물을 정확하게 탐지하고 국소화할 수 있는 딥러닝 모델을 개발하는 것.
• 식물의 겹침, 변동하는 조도, 조밀한 수관에서 명확한 경계가 없는 문제와 같은 현장 영상 분석 과제를 해결하는 것.
• 감자 수확 스트레스 탐지용 레이블이 부여된 공개 가능한 항공 영상 데이터셋을 구축하고 배포하는 것.
• 기존의 이미지 분류에 국한되지 않고 농업 적용 분야에서 객체 검출 모델의 일반화 능력과 강건성을 향상시키는 것.

제안 방법

• 저수준 의미적 밀집 특징 맵을 특징 피라미드 네트워크(FPN)에 통합하여 공간 국소화 능력이 향상된 Retina-UNet의 변종인 Retina-UNet-Ag을 제안한다.
• 3미터 고도에서 감자 농장 위를 비행하는 Parrot Sequoia 다중스펙트럼 UAV를 사용하여 고해상도 RGB 및 다중스펙트럼 영상을 촬영한다.
• 겹치는 식물과 혼합 잎 조건을 고려하여 건강한 식물과 스트레스를 받는 식물을 위한 인스턴스 세그멘테이션 스타일의 바운딩 박스 레이블을 적용한다.
• RGB와 스펙트럼 밴드 조합(R-G-NIR, R-NIR-RE, R-G-RE)의 복합 영상을 사용하여 다양한 영상 유형에서의 성능을 평가한다.
• ImageNet 사전학습된 백본(예: ResNet)을 활용한 전이학습을 수행하고, 맞춤형 감자 데이터셋에서 미세조정한다.
• 표준 객체 검출 평가 지표인 Dice 스코어 계수(DSC), 교차율(IoU), 정밀도(Precision), 재현율(Recall)을 사용하여 성능을 평가한다.

실험 결과

연구 질문

• RQ1 딥러닝 기반 객체 검출 모델은 실제 항공 현장 영상에서 가뭄 스트레스를 받는 개별 감자 식물을 정확하게 식별하고 국소화할 수 있는가?
• RQ2 특징 피라미드 네트워크에 저수준 의미적 특징을 통합함으로써 복잡한 현장 환경에서 식물 스트레스 탐지 성능이 어떻게 향상되는가?
• RQ3 동일한 UAV 플랫폼에서 촬영한 고해상도 RGB 영상과 저해상도 다중스펙트럼 영상 간에 모델 성능은 어떻게 다를까?
• RQ4 겹치는 식물, 변동하는 조도, 건강한 잎과 스트레스를 받는 잎이 혼합된 자연 현장 조건에서 제안된 모델의 일반화 능력은 어느 정도인가?
• RQ5 명확한 시각적 경계가 없는 상황에서도 스트레스를 받는 식물과 건강한 식물을 높은 정밀도와 재현율로 구분할 수 있는가?

주요 결과

• Retina-UNet-Ag는 테스트 세트에서 평균 Dice 스코어 계수(DSC) 0.74를 달성했으며, 건강한 식물의 경우 0.723, 스트레스를 받는 식물의 경우 0.756을 기록했다.
• Mask R-CNN, RetinaNet, Faster R-CNN, YOLO v3를 포함한 네 가지 최첨단 객체 검출 모델보다 모든 평가 지표에서 뛰어난 성능을 보였으며, 특히 스트레스를 받는 식물의 재현율과 정밀도에서 뛰어났다.
• 다중스펙트럼 영상에서의 성능은 RGB 영상보다 낮았으며, R-G-NIR의 경우 DSC 0.536, R-NIR-RE의 경우 DSC 0.588을 기록했다. 이는 해상도가 낮기 때문(960×1280 픽셀 대비 3456×4608 픽셀)으로 기인한다.
• 겹치는 식물과 혼합 잎 조건이 있는 경우에도 모델은 거의 모든 테스트 영상에서 스트레스를 받는 식물을 성공적으로 탐지하고 국소화했다.
• 본 연구는 100여 장 이상의 레이블이 부여된 가뭄 스트레스를 받는 감자 수확 영상으로 구성된 새로운 데이터셋을 도입하고 공개했다. 이는 향후 연구를 지원한다.
• 결과적으로 저수준 의미적 특징을 통합함으로써 경계가 명확하지 않은 복잡한 농업 환경에서의 탐지 강건성이 향상됨을 입증했다.