[논문 리뷰] A comprehensive review of 3D convolutional neural network-based classification techniques of diseased and defective crops using non-UAV-based hyperspectral images

Nooshin Noshiri, Michael A. Beck외 2명|arXiv (Cornell University)|2023. 06. 15.

Spectroscopy and Chemometric AnalysesChemistry참고 문헌 80인용 수 3

한 줄 요약

이 논문은 비UAV 기반 고분광 영상(HSI)을 사용하여 병해충 및 결함이 있는 작물을 분류하기 위해 3D 컨volution 신경망(3D-CNN) 기법을 검토하며, 공간적 및 스펙트럼적 특징을 동시에 추출하여 정확도를 향상시키는 능력을 강조한다. 데이터 부족과 계산 복잡성 등의 과제를 언급하고, 전이 학습, 능동 학습, 스펙트럼 대역 선택과 같은 솔루션을 제안하여 제한된 HSI 데이터셋에서 모델의 효율성과 성능을 향상시킨다.

ABSTRACT

Hyperspectral imaging (HSI) is a non-destructive and contactless technology that provides valuable information about the structure and composition of an object. It can capture detailed information about the chemical and physical properties of agricultural crops. Due to its wide spectral range, compared with multispectral- or RGB-based imaging methods, HSI can be a more effective tool for monitoring crop health and productivity. With the advent of this imaging tool in agrotechnology, researchers can more accurately address issues related to the detection of diseased and defective crops in the agriculture industry. This allows to implement the most suitable and accurate farming solutions, such as irrigation and fertilization before crops enter a damaged and difficult-to-recover phase of growth in the field. While HSI provides valuable insights into the object under investigation, the limited number of HSI datasets for crop evaluation presently poses a bottleneck. Dealing with the curse of dimensionality presents another challenge due to the abundance of spectral and spatial information in each hyperspectral cube. State-of-the-art methods based on 1D- and 2D-CNNs struggle to efficiently extract spectral and spatial information. On the other hand, 3D-CNN-based models have shown significant promise in achieving better classification and detection results by leveraging spectral and spatial features simultaneously. Despite the apparent benefits of 3D-CNN-based models, their usage for classification purposes in this area of research has remained limited. This paper seeks to address this gap by reviewing 3D-CNN-based architectures and the typical deep learning pipeline, including preprocessing and visualization of results, for the classification of hyperspectral images of diseased and defective crops. Furthermore, we discuss open research areas and challenges when utilizing 3D-CNNs with HSI data.

연구 동기 및 목표

• 3D-CNN의 특징 추출 능력이 뛰어나지만, 작물 병해 및 결함 감지에 대한 고분광 영상(HSI) 분류에서의 3D-CNN 활용이 제한적인 이유를 해결하고자 한다.
• 데이터 부족, 고차원성, 계산 복잡성과 같은 HSI 기반 작물 분류의 주요 과제를 특정하고자 한다.
• 비UAV HSI 응용 분야에 특화된 3D-CNN에 적합한 전처리, 모델 아키텍처, 시각화를 포함한 딥 러닝 파ip라인을 검토하고자 한다.
• 제한된 HSI 데이터셋에서의 성능 향상을 위해 전이 학습, 능동 학습, 정보성 스펙트럼 대역 선택과 같은 전략을 탐색하고자 한다.
• 경량 모델과 MLaaS 통합을 통해 농업 현장에서 실시간으로, 비용 효율적으로 구현 가능한 시스템을 구축할 것을 주장하고자 한다.

제안 방법

• 3D-CNN 아키텍처를 활용하여 고분광 큐브를 3D 텐서(M×N×λ)로 처리함으로써 공간적 및 스펙트럼적 특징을 함께 모델링한다.
• 대규모 데이터셋에서 사전 학습된 모델을 소규모 HSI 작물 데이터셋에 적용하기 위해 전이 학습을 적용하여, 제한된 데이터로도 성능 향상을 이룬다.
• 가장 정보성 있는 샘플을 반복적으로 선택하여 레이블링하는 능동 학습을 적용하여, 레이블링 부담을 줄이고 모델 정확도를 향상시킨다.
• NDVI 및 GCI와 같은 스펙트럼 인덱스를 분석하여 특징 표현을 강화하고 모델의 해석 가능성을 높인다.
• 모델 복잡성, 학습 시간, 메모리 사용량을 줄이기 위해 스펙트럼 대역을 줄이고 인덱스로 그룹화하는 방법을 탐색한다.
• 기반 시설 요구 사항을 줄이고 비전문가 사용자를 위한 모델 개발 속도를 높이기 위해 머신 러닝을 서비스로 제공하는(MLaaS) 플랫폼을 활용할 것을 제안한다.

Figure 1: The hyperspectral cube (adapted from Tarabalka et al. ( 2010 ) with modification). It is a three-dimensional array where each pixel represents a spectrum containing a range of wavelengths. This spectrum can act as a fingerprint and provides information about biophysical and biochemical cha

실험 결과

연구 질문

• RQ1 비UAV 기반 고분광 영상에서 3D-CNN은 작물 병해 및 결함 분류에 있어 공간적 및 스펙트럼적 특징을 어떻게 효과적으로 추출할 수 있는가?
• RQ2 특히 데이터 부족과 계산 비용 문제로 인해 3D-CNN을 고분광 작물 영상에 적용할 때의 주요 과제는 무엇인가?
• RQ3 전이 학습과 능동 학습은 제한된 HSI 데이터셋에서 훈련된 3D-CNN 모델의 성능을 어느 정도 향상시킬 수 있는가?
• RQ4 작물 병해 및 결함 탐지에 있어 가장 정보성 있는 스펙트럼 대역은 무엇이며, 이를 선택하여 경량화되고 효율적인 모델을 구축하는 방법은 무엇인가?
• RQ5 MLaaS 플랫폼과 모델 최적화 기법은 정밀 농업에서 실시간으로 현장에 구현 가능한 3D-CNN 시스템을 어떻게 가능하게 하는가?

주요 결과

• 3D-CNN는 공간적 및 스펙트럼적 특징을 함께 모델링함으로써 1D 및 2D-CNN보다 고분광 작물 영상 분류에서 더 높은 정확도를 달성하여 뛰어난 성능을 보인다.
• 전이 학습은 사전 학습된 가중치를 활용함으로써 소규모 HSI 데이터셋에서 모델 성능을 크게 향상시키며, 과적합을 줄이고 학습 시간을 단축시킨다.
• 능동 학습은 가장 정보성 있는 샘플을 선택함으로써 필요한 레이블링 샘플 수를 줄여 학습 효율성을 높인다.
• 스펙트럼 대역 선택 및 인덱스로의 그룹화를 통해 모델의 복잡성을 줄이고 학습 시간을 감소시키며, 분류 정확도를 유지하거나 향상시킬 수 있다.
• MLaaS 플랫폼은 사전 구축된 3D-CNN 모델과 확장 가능한 컴퓨팅 인프라에 접근할 수 있도록 하여 农업 현장의 실천자들이 접근 장벽을 낮출 수 있도록 한다.
• 그럼에도 불구하고 3D-CNN는 데이터 부족과 계산 요구 사항으로 인해 고분광 기반 작물 분류에서 아직도 활용이 부족한 편이며, 향후 연구 및 도구 개발의 필요성을 시사한다.

Figure 2: A basic conceptual CNN architecture. A CNN consists of multiple layers, including convolution, detector, and pooling layers, where each layer serves as the input for the subsequent layer, enabling the extraction of low-dimensional features, learning of non-linear representations, and dimen