[논문 리뷰] Apple Leaf Disease Identification through Region-of-Interest-Aware Deep Convolutional Neural Network

Hee-Jin Yu, Chang‐Hwan Son|arXiv (Cornell University)|2019. 03. 25.

Smart Agriculture and AI참고 문헌 24인용 수 10

한 줄 요약

이 논문은 병변 영역(지역 관심 영역, ROI)을 고려하는 딥 컨volution 신경망을 제안하여 사과 잎의 병변을 식별한다. 인코더-디코더 하위 네트워크를 활용해 병변 영역을 세그먼테이션하고, VGG 기반의 하위 네트워크를 통해 분류를 수행한다. 예측된 ROI 특징 맵을 입력 이미지와 통합하여 엔드 투 엔드 학습 기반으로 처리함으로써, 전이 학습, 이중 모델, 다중 척도 특징 추출 기법과 같은 최신 기술들보다 높은 정확도를 달성한다.

ABSTRACT

A new method of recognizing apple leaf diseases through region-of-interest-aware deep convolutional neural network is proposed in this paper. The primary idea is that leaf disease symptoms appear in the leaf area whereas the background region contains no useful information regarding leaf diseases. To realize this idea, two subnetworks are first designed. One is for the division of the input image into three areas: background, leaf area, and spot area indicating the leaf diseases, which is the region of interest, and the other is for the classification of leaf diseases. The two subnetworks exhibit the architecture types of an encoder-decoder network and VGG network, respectively; subsequently, they are trained separately through transfer learning with a new training set containing class information, according to the types of leaf diseases and the ground truth images where the background, leaf area, and spot area are separated. Next, to connect these subnetworks and subsequently train the connected whole network in an end-to-end manner, the predicted ROI feature map is stacked on the top of the input image through a fusion layer, and subsequently fed into the subnetwork used for the leaf disease identification. The experimental results indicate that correct recognition accuracy can be increased using the predicted ROI feature map. It is also shown that the proposed method obtains better performance than the conventional state-of-the-art methods: transfer-learning-based methods, bilinear model, and multiscale-based deep feature extraction, and pooling approach.

연구 동기 및 목표

• 전체 잎 이미지가 아닌 병변 영향을 받은 영역에 계산적 주의를 집중시킴으로써 사과 잎 병변 식별의 정확도를 향상시키기 위해.
• 기존 모델이 관련 없는 배경 영역을 처리하는 데 비효율적이라는 점을 해결하기 위해, 전용 ROI 인식 세그먼테이션 하위 네트워크를 도입하기 위해.
• 병변 영역 국소화와 병변 유형 분류를 통합하는 엔드 투 엔드 학습을 통해 분류 성능을 향상시키기 위해.
• 기존 최신 기술들, 즉 전이 학습, 이중 모델, 다중 척도 특징 추출 기법들을 초월하기 위해.
• 실세계 사과 잎 병변 데이터셋에서 ROI 인식 특징 융합의 효과를 검증하기 위해.

제안 방법

• 이 방법은 입력 이미지를 배경, 잎 영역, 병변 영역(지역 관심 영역, ROI)으로 세 구역으로 세그먼트하는 인코더-디코더 아키텍처를 사용한다. 이는 병변 증상을 나타낸다.
• 병변을 분류하기 위해 별도의 VGG 기반 네트워크를 사용하며, 배경, 잎, 병변 영역에 대한 참값이 있는 자체 수집한 데이터셋을 기반으로 전이 학습을 통해 독립적으로 훈련한다.
• 세그먼테이션 하위 네트워크에서 예측된 ROI 특징 맵이 융합 레이어를 통해 원본 입력 이미지와 융합되며, 이는 분류 하위 네트워크로 입력된다.
• 전체 네트워크는 세그먼테이션 및 분류 작업을 동시에 최적화하기 위해 엔드 투 엔드로 정밀 조정된다.
• 새로 수집한 데이터셋을 사용하여 전이 학습을 수행하며, 이는 배경, 잎, 병변 영향 영역에 대한 클래스 레이블과 픽셀 단위의 주석을 포함한다.
• 융합 메커니즘은 분류 네트워크가 병변 관련 특징에 집중된 강화된 문맥 정보를 수신하도록 보장한다.

실험 결과

연구 질문

• RQ1 전체 이미지 처리 방식과 비교해 병변 영향 영역(ROI)에 집중함으로써 사과 잎 병변 분류 정확도가 향상되는가?
• RQ2 예측된 ROI 특징 맵을 입력 이미지와 융합하는 것이 표준 특징 추출 방법보다 성능 향상에 기여하는가?
• RQ3 제안된 ROI 인식 네트워크는 전이 학습, 이중 모델, 다중 척도 특징 풀링 기법과 같은 최신 기술과 비교해 어떻게 성능을 내는가?
• RQ4 이중 경로 네트워크(세그먼테이션 + 분류)의 엔드 투 엔드 학습이 병변 인식 성능 향상에 얼마나 기여하는가?
• RQ5 전용 ROI 세그먼테이션 하위 네트워크가 분류 성능에 영향을 주는 관련 없는 배경 영역의 영향을 줄일 수 있는가?

주요 결과

• 제안된 방법은 기존의 전이 학습 기반 방법, 이중 모델, 다중 척도 특징 추출 접근 방식보다 더 높은 인식 정확도를 달성한다.
• 융합 레이어를 통한 예측된 ROI 특징 맵의 통합은 병변 관련 특징에 초점을 맞추어 분류 성능을 크게 향상시킨다.
• ROI 인식 네트워크의 엔드 투 엔드 학습은 더 나은 일반화 능력과 더 강력한 병변 탐지 성능을 이끈다.
• 인코더-디코더 하위 네트워크는 병변 병변 영역을 효과적으로 국소화하여 분류 네트워크가 병리학적으로 관련 있는 영역에 집중할 수 있도록 한다.
• 배경, 잎, 병변 영역에 대한 픽셀 단위 주석이 있는 자체 수집한 데이터셋에서 본 방법은 뛰어난 성능을 보였다.
• 결과는 병변 영향 영역에 주목함으로써 관련 없는 영역의 노이즈를 줄이고 모델의 해석 가능성과 정확도를 향상시킨다는 것을 확인한다.