[논문 리뷰] Deep Learning for Plant Identification and Disease Classification from Leaf Images: Multi-prediction Approaches

Jianping Yao, Son N. Tran외 2명|arXiv (Cornell University)|2023. 10. 25.

Smart Agriculture and AI인용 수 5

한 줄 요약

이 논문은 다중예측 전략과 전이학습을 활용한 다중출력 컨볼루션 네트워크(GSMo-CNN)를 제안하여 잎사진에서 식물 종 식별과 병해 분류를 동시에 수행한다. 광범위한 실험에서 InceptionV3가 여러 백본 네트워크를 능가했으며, 단일 통합 모델이 별도의 모델보다 더 뛰어난 성능을 보였고, GSMo-CNN는 세 가지 벤치마크 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성했다.

ABSTRACT

Deep learning plays an important role in modern agriculture, especially in plant pathology using leaf images where convolutional neural networks (CNN) are attracting a lot of attention. While numerous reviews have explored the applications of deep learning within this research domain, there remains a notable absence of an empirical study to offer insightful comparisons due to the employment of varied datasets in the evaluation. Furthermore, a majority of these approaches tend to address the problem as a singular prediction task, overlooking the multifaceted nature of predicting various aspects of plant species and disease types. Lastly, there is an evident need for a more profound consideration of the semantic relationships that underlie plant species and disease types. In this paper, we start our study by surveying current deep learning approaches for plant identification and disease classification. We categorise the approaches into multi-model, multi-label, multi-output, and multi-task, in which different backbone CNNs can be employed. Furthermore, based on the survey of existing approaches in plant pathology and the study of available approaches in machine learning, we propose a new model named Generalised Stacking Multi-output CNN (GSMo-CNN). To investigate the effectiveness of different backbone CNNs and learning approaches, we conduct an intensive experiment on three benchmark datasets Plant Village, Plant Leaves, and PlantDoc. The experimental results demonstrate that InceptionV3 can be a good choice for a backbone CNN as its performance is better than AlexNet, VGG16, ResNet101, EfficientNet, MobileNet, and a custom CNN developed by us. Interestingly, empirical results support the hypothesis that using a single model can be comparable or better than using two models. Finally, we show that the proposed GSMo-CNN achieves state-of-the-art performance on three benchmark datasets.

연구 동기 및 목표

• 일致된 평가 설정에서 식물 병리학 분야에서 다중예측 접근법을 비교하는 경험적 벤치마킹 연구의 부족을 해결한다.
• 식물 종 식별과 병해 분류를 위한 단일 통합 모델이 정확도, 효율성, 메모리 사용량 측면에서 별도의 모델을 능가할 수 있는지 탐구한다.
• 식물 종과 병해 간의 의미적 관계를 모델링하기 위해 예측 헤드를 스택하고 상호연결하는 방식을 적용한 새로운 다중출력 딥러닝 아키텍처인 GSMo-CNN를 제안하고 평가한다.
• 다양한 식물 및 병해 종류를 포함한 다양한 데이터셋에서 성능 향상에 기여하는 전이학습과 손실 균형 조정의 효과를 검토한다.
• 여러 벤치마크 데이터셋에서 이중 예측 작업에 대해 InceptionV3가 백본 컨볼루션 네트워크로 가장 우수한 성능을 보임을 입증한다.

제안 방법

• 다양한 CNN 백본을 사용한 다중모델, 다중라벨, 다중출력, 다중작업 프레임워크로 기존 딥러닝 접근법을 분류한다.
• 식물 및 병해 예측 헤드 두 개를 스택하고, 병해 → 식물 및 식물 → 병해 방향으로 상호연결을 구현한 다중출력 모델인 GSMo-CNN를 제안한다.
• 균형 가중치(β₁:δ₁:β₂:δ₂ = 0.1:0.1:0.4:0.5)를 사용해 다중 목적을 통합한 손실 함수를 도입하여 두 예측 헤드를 동시에 최적화한다.
• 특히 InceptionV3에 대해 ImageNet 사전학습 가중치로 초기화하여 일반화 능력과 수렴 속도 향상을 도모한다.
• 일致된 실험 설정 하에 세 가지 벤치마크 데이터셋(Plant Village, Plant Leaves, PlantDoc)에서 모델을 훈련하고 평가한다.
• 평가 지표로 F1-score와 정확도를 사용하여 다양한 백본 및 훈련 전략 간 성능을 비교한다.

실험 결과

연구 질문

• RQ1 식물 종 식별과 병해 분류를 위한 단일 통합 딥러닝 모델이 별도의 모델보다 정확도, 효율성, 메모리 사용량 측면에서 뛰어나게 되는가?
• RQ2 다중출력 컨볼루션 네트워크 아키텍처에서 예측 레이어를 스택하고 상호연결함으로써 연합된 식물 및 병해 분류 작업의 성능 향상이 가능할 수 있는가?
• RQ3 어느 컨볼루션 네트워크 백본(예: InceptionV3, ResNet101, EfficientNet)이 잎사진 기반 식물 병리학 작업에서 가장 뛰어난 성능을 보이는가?
• RQ4 ImageNet 사전학습에서의 전이학습이 다양한 데이터셋에서 제안된 GSMo-CNN 모델의 성능 향상에 어느 정도 기여하는가?
• RQ5 다양한 손실 함수 가중치 조합이 이중 예측 작업에서 모델 성능에 어떤 영향을 미치는가?

주요 결과

• InceptionV3는 모든 평가된 백본 중에서 가장 뛰어난 성능을 보였으며, AlexNet, VGG16, ResNet101, MobileNetV2, EfficientNet, ViT, 그리고 커스텀 CNN과 비교해 세 가지 벤치마크 데이터셋 전반에서 승리했다.
• 식물 종 식별과 병해 분류를 위한 단일 통합 모델이 별도의 모델과 비교해 더 뛰어나거나 유사한 성능을 보였으며, 모델 선택, 메모리 사용량, 추론 효율성 측면에서 우수한 이점이 있었다.
• 예측 레이어를 스택하고 상호연결함으로써 12개 실험 케이스 중 9개에서 F1-score와 정확도가 향상되었으며, 특히 손실 가중치가 균형 잡힌 경우에 두드러졌다.
• 전이학습은 성능 향상에 크게 기여했으며, 특히 PlantDoc-0.2와 PlantDoc-1.0에서 큰 성능 격차를 보였지만, Plant Leaves에서 병해 분류에는 다소 제한적이었다.
• 최적의 손실 가중치 설정(β₁:δ₁:β₂:δ₂ = 0.1:0.1:0.4:0.5)은 12개 실험 케이스 중 9개에서 성능 향상을 이끌었으며, 다중출력 학습에서 손실 균형 조정의 가치를 입증했다.
• 제안된 GSMo-CNN는 모든 세 가지 벤치마크 데이터셋(Plant Village, Plant Leaves, PlantDoc)에서 최신 기술 수준 성능을 달성하여 그 효과성과 일반화 능력을 입증했다.