[논문 리뷰] CD&S Dataset: Handheld Imagery Dataset Acquired Under Field Conditions for Corn Disease Identification and Severity Estimation

Aanis Ahmad, Dharmendra Saraswat외 2명|arXiv (Cornell University)|2021. 10. 22.

Smart Agriculture and AI인용 수 7

한 줄 요약

이 논문은 노스턴 리프 블라잇(NLB), 회색 잎 반점(GLS), 노스턴 잎 반점(NLS)을 식별하기 위한 현장에서 확보한 영상 데이터셋인 CD&S를 소개한다. 이 데이터셋은 총 4,455장의 옥수수 병해 영상(원본 현장 영상 2,112장과 배경 증강된 영상 2,343장)을 포함하며, 실제 현장 조건과 배경 증강 데이터를 활용해 심층 학습 모델의 병해 식별 및 심각도 추정 능력을 향상시켜, 실험실 기반 데이터셋을 넘어서는 일반화 능력을 확보한다.

ABSTRACT

Accurate disease identification and its severity estimation is an important consideration for disease management. Deep learning-based solutions for disease management using imagery datasets are being increasingly explored by the research community. However, most reported studies have relied on imagery datasets that were acquired under controlled lab conditions. As a result, such models lacked the ability to identify diseases in the field. Therefore, to train a robust deep learning model for field use, an imagery dataset was created using raw images acquired under field conditions using a handheld sensor and augmented images with varying backgrounds. The Corn Disease and Severity (CD&S) dataset consisted of 511, 524, and 562, field acquired raw images, corresponding to three common foliar corn diseases, namely Northern Leaf Blight (NLB), Gray Leaf Spot (GLS), and Northern Leaf Spot (NLS), respectively. For training disease identification models, half of the imagery data for each disease was annotated using bounding boxes and also used to generate 2343 additional images through augmentation using three different backgrounds. For severity estimation, an additional 515 raw images for NLS were acquired and categorized into severity classes ranging from 1 (resistant) to 5 (susceptible). Overall, the CD&S dataset consisted of 4455 total images comprising of 2112 field images and 2343 augmented images.

연구 동기 및 목표

• 통제된 실험실 환경이 아닌 실제 현장 조건에서 촬영된 데이터셋을 구축하여 옥수수 병해 탐지에 대한 심층 학습 모델의 격차를 해소한다.
• 흑색, 백색, 배경 없음의 세 가지 배경으로 현장 영상을 증강하여 모델의 일반화 능력을 향상시킨다.
• 옥수수 병해에 대한 객체 탐지(경계 상자(annotation)를 통한)와 심각도 추정(5단계 심각도 등급화를 통한)을 동시에 지원한다.
• 연구를 가속화하기 위해 공개 가능하고 체계적으로 정리된 데이터셋을 제공함으로써 农업 병해 관리 분야의 컴퓨터 비전 연구를 지원한다.

제안 방법

• 노스턴 리프 블라잇(NLB), 회색 잎 반점(GLS), 노스턴 잎 반점(NLS) 등 세 가지 흔한 옥수수 병해의 현장 영상가 iPhone 11 Pro(1,200만 화소 센서, 3,000×3,000 픽셀)를 사용해 촬영하였다.
• 원본 영상에 대해 50%-50%의 훈련-테스트 분할을 적용하였으며, 객체 탐지 작업을 위해 LabelImg를 사용해 YOLO .txt 형식의 경계 상자(annotation)를 작성하였다.
• 배경 증강은 온라인 제거 툴을 활용해 병변이 있는 잎을 분리한 후, 파이썬 스크립트를 사용해 흑색, 백색, 투명 배경에 재배치하여 총 2,343장의 증강 영상을 생성하였다.
• 심각도 추정을 위해 추가로 515장의 NLS 영상을 확보하였으며, 1(저항성)에서 5(감수성)까지의 다섯 단계 심각도 등급으로 분류하여 별도의 심각도 데이터셋을 구성하였다.
• 모든 데이터는 OSF.io에 호스팅되어 있으며, 6개의 폴더(Dataset_Original, Dataset_Annotated, Dataset_Black_Background, Dataset_White_Background, Dataset_No_Background, Dataset_Severity)로 체계적으로 정리되어 있다.

실험 결과

연구 질문

• RQ1 현장에서 확보한 옥수수 병해 영상으로 훈련된 심층 학습 모델이 실험실 기반 데이터셋으로 훈련된 모델보다 더 뛰어난 일반화 능력을 보일 수 있는가?
• RQ2 흑색, 백색, 배경 없음의 배경 증강이 실제 현장 조건에서 병해 식별 모델의 성능에 어떤 영향을 미치는가?
• RQ3 심각도 등급이 부여된 현장 기반 데이터셋이 옥수수 병해 심각도 추정 정확도를 얼마나 향상시킬 수 있는가?
• RQ4 현장 영상에 포함된 경계 상자(annotation)가 잎 병해에 대한 효과적인 객체 탐지에 기여할 수 있는가?

주요 결과

• CD&S 데이터셋은 총 4,455장의 영상으로 구성되어 있으며, 원본 현장 영상 2,112장과 증강 영상 2,343장이 포함되어 있다. 원본 데이터셋에는 NLB 511장, GLS 524장, NLS 562장의 영상이 포함되어 있다.
• 병변이 있는 잎을 흑색, 백색, 투명 배경에 재배치하여 모델의 강인성 향상을 도모한 총 2,343장의 증강 영상이 생성되었다.
• 심각도 추정을 위해 추가로 확보한 515장의 NLS 영상은 다섯 단계 심각도 등급으로 분류되었으며, 각 등급의 수는 108, 330, 297, 231, 111로 각각 기록되었다.
• 모든 데이터는 OSF.io를 통해 공개되며, 원본 영상, 애너테이션 영상, 증강 배경, 심각도 데이터 등 다양한 용도에 맞게 폴더 구조로 체계적으로 정리되어 있다.
• 이 데이터셋은 YOLO 형식의 경계 상자(annotation)를 통한 객체 탐지와 이미지 분류 작업을 모두 지원하여 식물 병리학 분야에서 다양한 심층 학습 응용을 가능하게 한다.