[논문 리뷰] Detecting Volunteer Cotton Plants in a Corn Field with Deep Learning on UAV Remote-Sensing Imagery

Pappu Kumar Yadav, J. Alex Thomasson외 10명|arXiv (Cornell University)|2022. 07. 14.

Forest Insect Ecology and Management인용 수 4

한 줄 요약

이 연구는 무인 항공기(UAV)에서 촬영한 RGB 항공 영상 자료를 이용해 옥수수 밭에서 자생적 면화 식물을 탐지하기 위해 YOLOv3 기반의 딥러닝 접근법을 제안한다. 이 방법은 세 가지 영상 해상도(320×320, 416×416, 512×512)에서 일관된 mAP 성능을 달성하여, 기생충 재번식을 방지하기 위한 자동 탐지 및 정밀 분무에 대한 강력한 실시간 잠재력을 보여준다.

ABSTRACT

The cotton boll weevil, Anthonomus grandis Boheman is a serious pest to the U.S. cotton industry that has cost more than 16 billion USD in damages since it entered the United States from Mexico in the late 1800s. This pest has been nearly eradicated; however, southern part of Texas still faces this issue and is always prone to the pest reinfestation each year due to its sub-tropical climate where cotton plants can grow year-round. Volunteer cotton (VC) plants growing in the fields of inter-seasonal crops, like corn, can serve as hosts to these pests once they reach pin-head square stage (5-6 leaf stage) and therefore need to be detected, located, and destroyed or sprayed . In this paper, we present a study to detect VC plants in a corn field using YOLOv3 on three band aerial images collected by unmanned aircraft system (UAS). The two-fold objectives of this paper were : (i) to determine whether YOLOv3 can be used for VC detection in a corn field using RGB (red, green, and blue) aerial images collected by UAS and (ii) to investigate the behavior of YOLOv3 on images at three different scales (320 x 320, S1; 416 x 416, S2; and 512 x 512, S3 pixels) based on average precision (AP), mean average precision (mAP) and F1-score at 95% confidence level. No significant differences existed for mAP among the three scales, while a significant difference was found for AP between S1 and S3 (p = 0.04) and S2 and S3 (p = 0.02). A significant difference was also found for F1-score between S2 and S3 (p = 0.02). The lack of significant differences of mAP at all the three scales indicated that the trained YOLOv3 model can be used on a computer vision-based remotely piloted aerial application system (RPAAS) for VC detection and spray application in near real-time.

연구 동기 및 목표

• RGB UAV 영상 자료를 활용해 YOLOv3가 자생적 면화 식물을 탐지하는 데의 가능성을 평가하는 것.
• 세 가지 고정된 영상 해상도 규모(320×320, 416×416, 512×512)에서 탐지 정확도 측면에서 YOLOv3의 성능을 평가하는 것.
• 모델이 农업 해충 관리에 대한 근접 실시간 원격 감시 응용 프로그램을 지원할 수 있는지 확인하는 것.
• 영상 해상도가 평균 정밀도(AP), 평균 평균 정밀도(mAP), F1-스코어 등의 핵심 지표에 미치는 영향을 조사하는 것.
• 벌레무늬기생충 재번식을 방지하기 위해 자생적 면화 식물을 탐지하고 대상으로 분무하는 자동화 시스템 개발을 지원하는 것.

제안 방법

• 옥수수 밭에 자생적 면화 식물이 존재하는 지역에서 무인 항공기 시스템(UAS)을 이용해 3밴드 RGB 항공 영상을 확보하였다.
• 핀헤드 스퀘어 단계(5–6엽기)의 자생적 면화 식물을 식별하기 위해 애너테이션 처리된 항공 영상에 기반해 YOLOv3 객체 탐지 모델을 훈련시켰다.
• 세 가지 고정된 입력 영상 크기(S1: 320×320, S2: 416×416, S3: 512×512 픽셀)에서 모델 성능을 평가하였다.
• 표준 지표인 평균 정밀도(AP), 평균 평균 정밀도(mAP), 95% 신뢰수준에서의 F1-스코어를 사용해 탐지 성능을 측정하였다.
• 세 가지 해상도 간의 모델 성능을 비교하기 위해 통계 분석(p-값)을 수행하였다.
• 실시간 구현 가능성을 고려해 컴퓨터 비전 기반 원격 조종 항공 응용 시스템(RPAAS) 프레임워크를 활용하였다.

실험 결과

연구 질문

• RQ1 RGB UAV 영상만을 사용할 때 YOLOv3가 옥수수 밭에서 자생적 면화 식물을 효과적으로 탐지할 수 있는가?
• RQ2 입력 영상 해상도(320×320, 416×416, 512×512)가 mAP, AP, F1-스코어 측면에서 YOLOv3의 탐지 성능에 어떤 영향을 미치는가?
• RQ3 세 가지 영상 해상도 간에 탐지 성능에 통계적으로 유의미한 차이가 존재하는가?
• RQ4 훈련된 YOLOv3 모델이 농업 원격 감시 시스템에서 실시간 탐지 및 분무 응용을 지원할 수 있는가?
• RQ5 모델이 다양한 해상도에서 일관된 mAP 성능을 유지하는가를 통해 운영적 활용 가능성의 스케일러빌리티를 확인할 수 있는가?

주요 결과

• 세 영상 해상도(S1, S2, S3) 간 평균 평균 정밀도(mAP)에 유의미한 차이가 없었으며, 이는 모델의 강건성이 일관됨을 시사한다.
• S1과 S3 간 평균 정밀도(AP)에 통계적으로 유의미한 차이가 있었으며(p = 0.04), S2와 S3 간에도 마찬가지로 유의미한 차이가 있었음(p = 0.02).
• S2와 S3 간 F1-스코어에 유의미한 차이가 있었으며(p = 0.02), 이는 S3에서 정밀도와 재현율의 균형이 더 우수함을 시사한다.
• 해상도 간 mAP에 유의미한 차이가 없음을 고려할 때, 훈련된 YOLOv3 모델이 RPAAS 플랫폼에서 근접 실시간 응용에 활용될 수 있음을 뒷받침한다.
• 모델은 자동화된 UAV 기반 시스템에서 자생적 면화 식물을 탐지하고 대상으로 분무하는 데 강력한 잠재력을 보여준다.
• 결과적으로 YOLOv3가 RGB 영상만을 사용해도 옥수수 밭에서 자생적 면화 식물을 조기에 효과적으로 탐지할 수 있음을 확인하였다.