[논문 리뷰] Apple scab detection in orchards using deep learning on colour and multispectral images
이 연구는 RGB 및 다중스펙트럼(VIS-NIR, 8밴드) 이미지를 사용하여 농장에서 사과 곰팡이병 감지를 위한 딥러닝 성능을 평가한다. 스펙트럼 데이터에서 유도된 가짜색 복합 이미지와 세그멘테이션 마스크를 YOLOv5에 적용한다. 다중스펙트럼 이미지에서는 더 높은 시각적 대비가 나타났지만, 모델은 RGB 이미지에서 더 뛰어난 성능을 보였다 (mAP@50: 0.73), 다중스펙트럼 데이터에서는 성능이 떨어졌다 (mAP@50: 0.53). 이는 RGB 사전학습 모델에서 온 전이학습이 스펙트럼 입력에 대해 효과를 제한한다는 것을 시사한다.
Apple scab is a fungal disease caused by Venturia inaequalis. Disease is of particular concern for growers, as it causes significant damage to fruit and leaves, leading to loss of fruit and yield. This article examines the ability of deep learning and hyperspectral imaging to accurately identify an apple symptom infection in apple trees. In total, 168 image scenes were collected using conventional RGB and Visible to Near-infrared (VIS-NIR) spectral imaging (8 channels) in infected orchards. Spectral data were preprocessed with an Artificial Neural Network (ANN) trained in segmentation to detect scab pixels based on spectral information. Linear Discriminant Analysis (LDA) was used to find the most discriminating channels in spectral data based on the healthy leaf and scab infested leaf spectra. Five combinations of false-colour images were created from the spectral data and the segmentation net results. The images were trained and evaluated with a modified version of the YOLOv5 network. Despite the promising results of deep learning using RGB images (P=0.8, mAP@50=0.73), the detection of apple scab in apple trees using multispectral imaging proved to be a difficult task. The high-light environment of the open field made it difficult to collect a balanced spectrum from the multispectral camera, since the infrared channel and the visible channels needed to be constantly balanced so that they did not overexpose in the images.
연구 동기 및 목표
- 실제 농장 환경에서 RGB 및 다중스펙트럼(VIS-NIR) 이미지를 사용하여 딥러닝 모델의 사과 곰팡이병 감지 효과성을 평가하는 것.
- 병원체-건강한 조직 간 대비를 높이는 것으로 알려진 다중스펙트럼 영상이 전통적인 RGB 영상보다 감지 정확도를 향상시키는지 조사하는 것.
- 예를 들어 COCO 데이터셋 기반 RGB 사전학습이 다중스펙트럼 영상 데이터에 적용되었을 때 성능에 미치는 영향을 평가하는 것.
- YOLOv5와 같은 객체 검출 네트워크에 다중스펙트럼 밴드에서 유도된 가짜색 복합 이미지를 입력으로 사용하는 것이 가능한지 탐색하는 것.
- 특히 풍경에서의 조명 불균형과 다중스펙트럼 채널의 과노출 등 환경적 및 기술적 과제들이 개방형 농장 환경에서 신뢰할 수 있는 데이터 수집을 방해하는 방식을 규명하는 것.
제안 방법
- 감염된 농장에서 일반적인 RGB 및 8밴드 VIS-NIR 다중스펙트럼 카메라를 사용해 총 168개의 영상 씬을 촬영하였다.
- 스펙트럼 데이터를 환경에 따라 분류하는 데 사용된 인공신경망(ANN)을 활용해 픽셀 단위의 곰팡이 병변 조직 세그멘테이션을 수행하였다.
- 건강한 잎과 곰팡이 병변이 있는 잎 간의 가장 구분 가능한 스펙트럼 밴드를 식별하기 위해 선형판별분석(LDA)을 적용하였다.
- 선택된 스펙트럼 밴드(예: 7,3,1; 7,3 및 세그멘테이션 출력)를 사용해 다섯 가지의 가짜색 조합을 생성하여 시각적 대비를 향상시켰다.
- YOLOv5 객체 검출 네트워크를 수정하여 RGB, 세그멘테이션 마스크, 여러 다중스펙트럼 복합 이미지 등 총 6종류의 이미지 세트에서 학습 및 평가를 수행하였다.
- 다양한 이미지 유형 간 검출 성능를 비교하기 위해 mAP@50 및 mAP@0.5:0.95를 주요 평가 지표로 사용하였다.
실험 결과
연구 질문
- RQ1딥러닝을 사용할 때 다중스펙트럼 영상이 RGB 영상보다 사과 곰팡이병 감지 정확도를 향상시키는가?
- RQ2건강한 조직과 병변 조직 간에 더 높은 시각적 대비가 나타나는 데도 불구하고 YOLOv5 모델이 다중스펙트럼 가짜색 영상에서 성능이 떨어지는 이유는 무엇인가?
- RQ3RGB 사전학습 모델(예: COCO)에서 온 전이학습이 다중스펙트럼 영상 데이터에 적용되었을 때 딥러닝 모델 성능에 얼마나 큰 제약을 끼치는가?
- RQ4높은 주변 조도 및 채널 과노출 등 환경적 요인이 개방형 농장에서의 다중스펙트럼 데이터 수집의 신뢰성에 어떤 영향을 미치는가?
- RQ5사전학습 데이터셋의 분포와 시각적으로 유사하지 않은 입력 이미지가 되면 스펙트럼 데이터를 효과적으로 활용할 수 있는가?
주요 결과
- YOLOv5 모델은 RGB 이미지에서 가장 높은 mAP@50 점수(0.73)를 기록했으며, 모든 다중스펙트럼 기반 이미지 세트보다 유의미하게 뛰어났다.
- 다중스펙트럼 복합 이미지 중에서 밴드 7,3,1 조합이 가장 높은 mAP@50(0.53)를 기록했지만, 여전히 RGB 성능 이하였다.
- 세그멘테이션 네트워크 통합을 통해 다중스펙트럼 데이터를 학습시킨 모델(MS7,3+SegN)은 mAP@50가 0.43에 그쳐 일반화 능력이 제한됨을 시사했다.
- 가짜 양성 결과는 주로 잎 그림자와 잎 도마충 등 다른 잎 병변으로 인해 발생했으며, 특히 다중스펙트럼 데이터에서 빈번하게 나타났다.
- 고조도의 개방형 농장 환경은 가시광선 및 적외선 채널 간 노출 불균형을 초래하여 다중스펙트럼 데이터 확보를 복잡하게 만들었으며, 지속적인 균형 조절이 필요했다.
- 다중스펙트럼 이미지에서는 더 높은 시각적 대비가 나타났지만, 성능 격차는 RGB 기반 사전학습 모델이 스펙트럼 입력을 효과적으로 활용하지 못할 수 있음을 시사하며, 특히 입력 분포가 크게 다를 경우 더욱 그러하다.
더 나은 연구,지금 바로 시작하세요
논문 읽기부터 검토까지, 연구 시간을 획기적으로 줄여보세요.
카드 등록 없음 · 무료 플랜 제공
이 리뷰는 AI가 만들고, 인간 에디터가 검토했습니다.