[논문 리뷰] Paddy Doctor: A Visual Image Dataset for Automated Paddy Disease Classification and Benchmarking

A Petchiammal, Briskline Kiruba S외 2명|arXiv (Cornell University)|2022. 05. 23.

Smart Agriculture and AIAgricultural and Biological Sciences인용 수 17

한 줄 요약

이 논문은 인도의 다양한 지리적 위치에서 고해상도 스마트폰을 사용해 촬영한 16,225장의 정확하게 레이블이 부여된 벼 잎 이미지로 구성된 대규모 공개 데이터셋인 Paddy Doctor를 소개한다. 이 데이터셋은 12종의 병해와 건강한 잎을 포함한 13개 클래스로 구성되어 있으며, 실세계 农업 응용 분야에서 자동 벼 병해 분류에 효과적임을 입증하기 위해 다섯 가지 딥 러닝 모델을 사용해 벤치마크를 수행하였다. 그 결과 ResNet34 모델이 97.50%의 최고 F1 스코어를 기록하여 뛰어난 성능을 보였다.

ABSTRACT

One of the critical biotic stress factors paddy farmers face is diseases caused by bacteria, fungi, and other organisms. These diseases affect plants' health severely and lead to significant crop loss. Most of these diseases can be identified by regularly observing the leaves and stems under expert supervision. In a country with vast agricultural regions and limited crop protection experts, manual identification of paddy diseases is challenging. Thus, to add a solution to this problem, it is necessary to automate the disease identification process and provide easily accessible decision support tools to enable effective crop protection measures. However, the lack of availability of public datasets with detailed disease information limits the practical implementation of accurate disease detection systems. This paper presents \emph{Paddy Doctor}, a visual image dataset for identifying paddy diseases. Our dataset contains 16,225 annotated paddy leaf images across 13 classes (12 diseases and normal leaf). We benchmarked the \emph{Paddy Doctor} dataset using a Convolutional Neural Network (CNN) and four transfer learning based models (VGG16, MobileNet, Xception, and ResNet34). The experimental results showed that ResNet34 achieved the highest F1-score of 97.50%. We release our dataset and reproducible code in the open source for community use.

연구 동기 및 목표

• 자동화된 감지 시스템을 훈련하고 벤치마크하기 위한 공개 가능하고 고품질이며 다양한 종류의 벼 잎 병해 이미지 데이터셋이 부족한 문제를 해결하기 위해.
• 컴퓨터 비전과 딥 러닝을 활용해 정확하고 효율적인 병해 분류를 지원할 수 있는 확장 가능한 실세계 데이터셋을 개발하기 위해.
• 최신 기술 모델의 성능을 벤치마크하여 수작업 식별에 대한 의존도와 과도한 농약 사용을 줄이기 위해.
• 농업 전문가 접근성이 낮은 지역의 농민들이 사용할 수 있는 접근성 있고 저비용의 의사결정 지원 도구 개발을 가능하게 하기 위해.

제안 방법

• Paddy Doctor 데이터셋은 인도 전역의 다양한 지리적 위치에 있는 실제 벼 농장에서 고해상도 스마트폰 카메라를 사용해 촬영하였다.
• 이미지는 农업 전문가에 의해 수작업으로 정리되고 레이블이 부여되었으며, 12종의 벼 병해와 건강한 잎(정상) 클래스를 포함한 총 13개 클래스로 정확하게 레이블링되었다.
• 다섯 가지 딥 러닝 모델을 훈련하고 평가하였다: 자체 설계한 딥 컨volution 네트워크(DCNN)와 사전 훈련된 모델을 활용한 전이 학습 모델 4종 — VGG16, MobileNet, Xception, ResNet34.
• 모델 일반화 및 강인성을 향상시키기 위해 기울임, 비틀기, 줌, 이동, 수평 뒤집기 등의 데이터 증강 기법을 적용하였다.
• 모든 모델은 256×256 픽셀 입력 크기와 ImageNet 사전 훈련 가중치를 사용하여, 검증 분할 후 10,384장의 훈련 세트(12,980장의 80%)와 3,245장의 테스트 세트를 사용해 훈련되었다.
• 하이퍼파라미터로 배치 크기 32, 훈련 에포크 100회, 기본 학습률 0.001을 설정하였으며, GPU 가속 기능을 갖춘 Google Colab에서 훈련을 수행하였다.

실험 결과

연구 질문

• RQ1 대규모 실세계 벼 잎 이미지 데이터셋이 딥 러닝을 활용한 정확한 자동 병해 분류에 얼마나 효과적인가?
• RQ2 다양한 증상과 병리학적 특성을 가진 벼 잎 병해를 분류하는 데 있어 어떤 딥 러닝 아키텍처가 가장 우수한 성능을 보이는가?
• RQ3 이 데이터셋에서 사전 훈련된 모델을 사용한 전이 학습이 자체 설계한 DCNN에 비해 분류 성능을 얼마나 향상시키는가?
• RQ4 데이터 증강 및 파인튜닝 전략이 실세계 农업 이미지 데이터에 대한 모델 일반화 및 강인성 향상에 얼마나 기여하는가?
• RQ5 크기, 클래스 다양성, 이미지 품질 측면에서 기존 공개 데이터셋과 비교해 Paddy Doctor 데이터셋은 어떠한가?

주요 결과

• ResNet34가 97.50%의 최고 F1 스코어를 기록하여, Xception(96.57%), VGG16(93.20%), MobileNet(92.39%), 자체 설계 DCNN(88.81%)를 모두 앞서며 최고의 성능을 보였다.
• Xception 모델은 F1 스코어 96.57%를 기록하여 모든 병해 클래스에서 높은 정밀도와 재현율을 확보하였다.
• 자체 설계된 DCNN 모델은 F1 스코어 88.81%를 기록하여, 복잡하고 미세한 병해 분류 과제에서 전이 학습 기반 접근법의 한계를 보여주었다.
• 데이터 증강 기법의 적용은 평가 지표 전반에서 일관된 성능 향상을 보이며 모델 일반화 능력 향상에 기여함을 입증하였다.
• Paddy Doctor 데이터셋은 크기(16,225장의 이미지)와 클래스 다양성(13개 클래스, Bacterial Panicle Blight 및 Yellow Stem Borer와 같은 희귀 및 복잡한 병해 포함) 측면에서 기존 공개 데이터셋을 초월하였다.
• 데이터셋과 재현 가능한 코드의 오픈소스화는 커뮤니티 전체의 벤치마크 및 향후 자동 벼 병해 분류 분야의 연구를 가능하게 하였다.