[논문 리뷰] A Novel CropdocNet for Automated Potato Late Blight Disease Detection from the Unmanned Aerial Vehicle-based Hyperspectral Imagery

Yue Shi, Liangxiu Han외 3명|arXiv (Cornell University)|2021. 07. 28.

Smart Agriculture and AI참고 문헌 19인용 수 4

한 줄 요약

이 논문은 드론 기반 고분 giải도 영상에서 스펙트럼-공간적 구조적 관계를 포착하기 위해 계층적 캡슐 특징을 활용하는 새로운 딥러닝 모델인 CropdocNet을 제안한다. 병원균 특성의 회전 불변성 및 부분-전체 관계를 모델링함으로써 CropdocNet은 94.2%의 분류 정확도를 달성하여 SVM(76.8%) 및 3DCNN(83.2%)를 크게 능가한다. 이는 복잡한 농업 영상에서 계층적 특징 표현의 가치를 입증한다.

ABSTRACT

Late blight disease is one of the most destructive diseases in potato crop, leading to serious yield losses globally. Accurate diagnosis of the disease at early stage is critical for precision disease control and management. Current farm practices in crop disease diagnosis are based on manual visual inspection, which is costly, time consuming, subject to individual bias. Recent advances in imaging sensors (e.g. RGB, multiple spectral and hyperspectral cameras), remote sensing and machine learning offer the opportunity to address this challenge. Particularly, hyperspectral imagery (HSI) combining with machine learning/deep learning approaches is preferable for accurately identifying specific plant diseases because the HSI consists of a wide range of high-quality reflectance information beyond human vision, capable of capturing both spectral-spatial information. The proposed method considers the potential disease specific reflectance radiation variance caused by the canopy structural diversity, introduces the multiple capsule layers to model the hierarchical structure of the spectral-spatial disease attributes with the encapsulated features to represent the various classes and the rotation invariance of the disease attributes in the feature space. We have evaluated the proposed method with the real UAV-based HSI data under the controlled field conditions. The effectiveness of the hierarchical features has been quantitatively assessed and compared with the existing representative machine learning/deep learning methods. The experiment results show that the proposed model significantly improves the accuracy performance when considering hierarchical-structure of spectral-spatial features, comparing to the existing methods only using spectral, or spatial or spectral-spatial features without consider hierarchical-structure of spectral-spatial features.

연구 동기 및 목표

• 기존 방법들이 작물 병해 특성의 계층적 스펙트럼-공간적 구조를 모델링하지 못하는 한계를 해결하기 위해.
• 드론 기반 고분해도 영상 데이터를 활용해 감자 늦은번역병을 자동으로, 정확하고 강건하게 조기에 감지할 수 있는 방법을 개발하기 위해.
• 정밀농업에서 수작업, 시간 소모적이고 주관적인 시각적 점검에 대한 의존도를 줄이기 위해.
• 병변 식물의 관상 구조와 반사율 변동성 간의 부분-전체 관계를 포착함으로써 분류 성능을 향상시키기 위해.
• 통제된 조건에서 실세계 현장 데이터를 기반으로 모델을 검증하여 정밀작물 관리 분야에서의 실용적 유용성을 입증하기 위해.

제안 방법

• 스펙트럼-공간 스칼라 특징을 계층적 벡터 특징으로 통합하는 다중 캡슐 레이어를 활용한 새로운 딥러닝 아키텍처인 CropdocNet을 제안한다.
• 캡슐 네트워크를 활용해 병원균 특성의 계층적 구조를 모델링함으로써 특징 공간 내에서 공간적 관계와 회전 불변성을 포착한다.
• 관상 구조 다양성에 기인한 병변 특이 반사율 방사 에너지 변동성을 강조하기 위해 주의 메커니즘을 활용한다.
• 3D 고분해도 데이터(공간 x 스펙트럼)를 3D 컨볼루션 기반 아키텍처를 통해 처리한 후 캡슐 네트워크에 입력하여 공동 스펙트럼-공간 표현을 확보한다.
• 기능을 의미 있는 병변 표현으로 군집화하기 위해 캡슐 레이어에서 동적 라우팅을 적용함으로써 클래스 간 분리도를 향상시킨다.
• 교차 엔트로피 손실과 Adam 최적화를 사용하여 통제된 현장 조건에서 수집한 실세계 드론 기반 고분해도 영상 데이터를 기반으로 모델을 엔드 투 엔드로 훈련시킨다.

실험 결과

연구 질문

• RQ1 명시적으로 계층적 스펙트럼-공간적 특징을 모델링하는 딥러닝 모델이 기존의 스펙트럼 또는 공간 전용 모델에 비해 감자 늦은번역병 감지 정확도를 향상시킬 수 있는가?
• RQ2 캡슐 네트워크의 통합이 고분해도 데이터 내 병변 특이 반사율 변동성과 구조적 패턴을 어떻게 향상시키는가?
• RQ3 기존의 3D CNN 또는 SVM에 비해 계층적 캡슐 특징은 특징 공간 내 클래스 간 분리도를 얼마나 향상시키는가?
• RQ4 혼합된 스펙트럼-공간 서명을 가진 식물과 배경을 포함한 복잡한 현장 조건에서도 제안된 모델이 일반화 가능한가?
• RQ5 분류 정확도 및 오분류에 대한 강건성 측면에서 계층적 특징 표현의 정량적 성과 향상 수준은 어떠한가?

주요 결과

• CropdocNet은 실세계 드론 기반 고분해도 영상에서 94.2%의 분류 정확도를 달성하여 SVM(76.8%) 및 3DCNN(83.2%)를 크게 뛰어넘었다.
• 계층적 캡슐 특징 공간은 건강한 식물과 병변 식물 클래스 간에 명확한 클러스터링을 보였으며, 겹치지 않는 표준편차와 뚜렷한 평균 특징 방향을 나타냈다.
• SVM 기반 모델은 스펙트럼 특징 내 클래스 간 분산이 부족하여 건강한 플롯의 81%를 병변으로 잘못 분류하는 등 낮은 분리도를 보였다.
• 3DCNN 모델은 플롯 경계에서 높은 오분류율을 보였으며, 겹치는 스펙트럼-공간 서명과 공동 특징 공간 내 낮은 클래스 간 거리로 인해 문제가 발생했다.
• 시각화된 특징 공간은 캡슐 특징가 병변 증상에서 부분-전체 관계와 회전 불변 패턴을 효과적으로 포착하고 있음을 확인했다.
• 제안된 모델의 계층적 구조는 배경 영역(예: 병변 플롯 내 흰색 패널)을 성공적으로 분리하여 가짜 양성 결과를 감소시켰다.