[논문 리뷰] Performance Evaluation of Deep Transfer Learning on Multiclass Identification of Common Weed Species in Cotton Production Systems

Dong Chen, Yuzhen Lu외 2명|arXiv (Cornell University)|2021. 10. 11.

Plant Virus Research Studies인용 수 6

한 줄 요약

이 연구는 미시시피와 노스캐롤라이나에서 수집한 자연광 조명 하의 5,187장의 이미지로 구성된 새로운 데이터셋을 사용하여, 15종의 흔한 면화밭 잡초에 대한 다중 클래스 식별을 위한 딥 트랜스퍼 러닝(DTL)을 평가한다. DTL은 F1 스코어 95% 이상을 기록했으며, ResNet101은 99.1%를 달성했고, 가중치가 부여된 교차 엔트로피 손실 함수는 소수 종류의 잡초 식별을 크게 향상시켜 실제 농업 환경에서 정밀 잡초 관리에 큰 잠재력을 보여주었다.

ABSTRACT

Precision weed management offers a promising solution for sustainable cropping systems through the use of chemical-reduced/non-chemical robotic weeding techniques, which apply suitable control tactics to individual weeds. Therefore, accurate identification of weed species plays a crucial role in such systems to enable precise, individualized weed treatment. This paper makes a first comprehensive evaluation of deep transfer learning (DTL) for identifying common weeds specific to cotton production systems in southern United States. A new dataset for weed identification was created, consisting of 5187 color images of 15 weed classes collected under natural lighting conditions and at varied weed growth stages, in cotton fields during the 2020 and 2021 field seasons. We evaluated 27 state-of-the-art deep learning models through transfer learning and established an extensive benchmark for the considered weed identification task. DTL achieved high classification accuracy of F1 scores exceeding 95%, requiring reasonably short training time (less than 2.5 hours) across models. ResNet101 achieved the best F1-score of 99.1% whereas 14 out of the 27 models achieved F1 scores exceeding 98.0%. However, the performance on minority weed classes with few training samples was less satisfactory for models trained with a conventional, unweighted cross entropy loss function. To address this issue, a weighted cross entropy loss function was adopted, which achieved substantially improved accuracies for minority weed classes. Furthermore, a deep learning-based cosine similarity metrics was employed to analyze the similarity among weed classes, assisting in the interpretation of classifications. Both the codes for model benchmarking and the weed dataset are made publicly available, which expect to be be a valuable resource for future research in weed identification and beyond.

연구 동기 및 목표

• 실제 현장 조건에서 면화 생산 체계 내 흔한 잡초 종류를 고도로 정확하고 견고한 이미지 분류 시스템으로 개발하기 위해.
• 훈련 샘플 수가 제한된 드문 또는 소수 종류의 잡초에 대해 데이터셋의 클래스 불균형 문제를 해결하기 위해.
• 전이 학습을 활용한 다중 클래스 잡초 식별을 위한 최신 딥 러닝 모델들의 종합적 벤치마킹을 수립하기 위해.
• 가중치가 부여된 교차 엔트로피 손실 및 포칼 손실과 같은 손실 함수가 부족한 클래스의 분류 성능 향상에 얼마나 효과적인지 평가하기 위해.
• 향후 농업용 컴퓨터 비전 분야의 연구를 지원하기 위해 공개적으로 이용 가능한 데이터셋과 코드를 제공하기 위해.

제안 방법

• 2020년과 2021년 동안 미시시피와 노스캐롤라이나의 여러 면화 밭에서 자연광 조명과 다양한 생장 단계에서 15종의 잡초 5,187장의 컬러 이미지를 수집하였다.
• ImageNet으로 사전 훈련된 백본을 사용하여 전이 학습을 통해 27개의 최신 딥 러닝 모델을 훈련시켰으며, 커스터마이제이션된 면화 잡초 데이터셋에 대해 파인튜닝하였다.
• 소수 종류의 클래스에 더 높은 손실 가중치를 할당하여 훈련 중 클래스 불균형 문제를 완화하기 위해 가중치가 부여된 교차 엔트로피(WCE) 손실 함수를 적용하였다.
• 특징 공간 내의 관계를 분석하고 모델의 잘못된 분류를 해석하기 위해 딥 러닝 기반의 코사인 유사도 메트릭을 사용하였다.
• 모델 일반화 능력을 향상시키기 위해 무작위 회전 및 픽셀 정규화와 같은 데이터 증강 기법을 적용하였지만, GAN 기반 증강은 완전히 탐색되지 않았다.
• 모델 성능 평가에 F1 스코어, 매크로 평균 F1, 혼동 행렬을 사용하여 총합 및 각 클래스의 정확도를 평가하였다.

실험 결과

연구 질문

• RQ1 비정형 현장 조건에서 딥 트랜스퍼 러닝이 흔한 면화밭 잡초의 다중 클래스 분류를 고정밀도로 달성할 수 있는가?
• RQ2 다양한 이미지 품질과 생장 단계를 가진 다양한 잡초 종류를 분류할 때, 다양한 딥 러닝 아키텍처는 어떻게 성능을 내는가?
• RQ3 데이터셋 내 클래스 불균형이 드문 잡초 종류에 대해 모델 성능에 얼마나 큰 영향을 미치는가?
• RQ4 가중치가 부여된 손실 함수, 예를 들어 WCE가 표준 교차 엔트로피 손실에 비해 소수 종류의 클래스 분류 정확도를 크게 향상시킬 수 있는가?
• RQ5 딥 러닝 기반의 유사도 메트릭, 예를 들어 코사인 유사도는 모델의 잘못된 분류를 어떻게 이해하고 진단하는 데 도움이 되는가?

주요 결과

• 딥 트랜스퍼 러닝은 모든 모델에서 F1 스코어가 95% 이상을 기록하며 높은 다중 클래스 분류 성능을 달성했으며, 27개 모델 중 14개가 F1 스코어 98.0% 이상을 달성했다.
• ResNet101은 99.1%의 최고 F1 스코어를 기록하여 이 벤치마크에서 최고 성능을 보인 모델로 확인되었다.
• 가중치가 부여된 교차 엔트로피(WCE) 손실 함수는 소수 종류의 클래스 탐지 능력을 크게 향상시켰으며, Spurred Anoda의 F1 스코어는 MnasNet 기준 20%에서 80%로, EfficientNet-b2 기준 40%에서 80%로 상승했다.
• 코사인 유사도 메트릭은 잡초 종류 간 의미 있는 관계를 드러내어 잘못된 분류 패턴을 이해하는 데 기여했다.
• 강력한 총합 성능에도 불구하고, EfficientNet은 소수 종류의 클래스에서 부진한 성능을 보였으며, 이는 클래스 균형 조절 기법의 필요성을 시사한다.
• 공개된 데이터셋(5,187장의 이미지, 15개 클래스)과 코드베이스는 향후 농업용 컴퓨터 비전 분야의 연구에 중요한 기준 자료가 될 것으로 기대된다.