[논문 리뷰] Real-time Strawberry Detection Based on Improved YOLOv5s Architecture for Robotic Harvesting in open-field environment

Zixuan He, Salik Ram Khana외 3명|arXiv (Cornell University)|2023. 08. 08.

Smart Agriculture and AI인용 수 6

한 줄 요약

이 연구는 개방된 필드 환경에서 실시간 딸기 감지를 위한 개선된 YOLOv5s 기반 객체 검출 모델인 YOLOv5s-Straw을 제안한다. C3 모듈을 C2f로 교체하고 SPPF를 CSPNet과 통합함으로써 모델은 80.3% mAP를 달성하며, YOLOv3-tiny, YOLOv5s, YOLOv5s-C2f, YOLOv8s보다 정확도와 속도에서 뛰어나며, 이미지당 18ms의 추론 시간과 단지 8.6M 파라미터를 가진다.

ABSTRACT

This study proposed a YOLOv5-based custom object detection model to detect strawberries in an outdoor environment. The original architecture of the YOLOv5s was modified by replacing the C3 module with the C2f module in the backbone network, which provided a better feature gradient flow. Secondly, the Spatial Pyramid Pooling Fast in the final layer of the backbone network of YOLOv5s was combined with Cross Stage Partial Net to improve the generalization ability over the strawberry dataset in this study. The proposed architecture was named YOLOv5s-Straw. The RGB images dataset of the strawberry canopy with three maturity classes (immature, nearly mature, and mature) was collected in open-field environment and augmented through a series of operations including brightness reduction, brightness increase, and noise adding. To verify the superiority of the proposed method for strawberry detection in open-field environment, four competitive detection models (YOLOv3-tiny, YOLOv5s, YOLOv5s-C2f, and YOLOv8s) were trained, and tested under the same computational environment and compared with YOLOv5s-Straw. The results showed that the highest mean average precision of 80.3% was achieved using the proposed architecture whereas the same was achieved with YOLOv3-tiny, YOLOv5s, YOLOv5s-C2f, and YOLOv8s were 73.4%, 77.8%, 79.8%, 79.3%, respectively. Specifically, the average precision of YOLOv5s-Straw was 82.1% in the immature class, 73.5% in the nearly mature class, and 86.6% in the mature class, which were 2.3% and 3.7%, respectively, higher than that of the latest YOLOv8s. The model included 8.6*10^6 network parameters with an inference speed of 18ms per image while the inference speed of YOLOv8s had a slower inference speed of 21.0ms and heavy parameters of 11.1*10^6, which indicates that the proposed model is fast enough for real time strawberry detection and localization for the robotic picking.

연구 동기 및 목표

• 변동하는 실외 조명 조건과 복잡한 현장 조건에서 정확하고 실시간 딸기 감지의 과제를 해결하기 위해.
• 안정된 조명 조건이 필요하고 형태 변화에 취약한 전통적인 이미지 처리 방법의 한계를 극복하기 위해.
• 불완전, 거의 성숙, 성숙의 세 가지 성숙 수준에서의 검출 정확도를 향상시켜 로봇 수확 의사결정을 지원하기 위해.
• 개방된 필드 농업 환경에서 로봇 플랫폼에 배포 가능한 경량, 빠르고 견고한 모델을 개발하기 위해.
• 실세계 딸기 수확물 이미지에서 일반화 능력과 검출 성능 향상을 위해 특징 추출 및 기울기 흐름을 향상시키기 위해.

제안 방법

• 기본 YOLOv5s의 C3 모듈을 C2f 모듈으로 교체하여 기울기 흐름과 특징 학습 능력을 향상시켰다.
• 공간 풍부도 풀링 패스트(SPPF) 블록을 교차 스테이지 부분 네트워크(CSPNet)와 통합하여 특징 맵 표현력과 일반화 능력을 향상시켰다.
• 세 가지 성숙 수준(불완전, 거의 성숙, 성숙)을 포함한 개방된 필드 조건에서의 딸기 수확물 RGB 데이터셋을 수집하고 증강하였다.
• 정확도 향상을 위해 밝기 감소, 밝기 증가, 노이즈 추가 등의 데이터 증강 기법을 적용하였다.
• 동일한 계산 조건에서 YOLOv3-tiny, YOLOv5s, YOLOv5s-C2f, YOLOv8s와 함께 제안된 YOLOv5s-Straw 모델을 훈련 및 평가하였다.
• 비교 분석을 위한 주요 평가 지표로 평균 평균 정밀도(mAP)와 추론 속도를 사용하였다.

실험 결과

연구 질문

• RQ1 YOLOv5s의 C3 모듈을 C2f 모듈로 교체하면 개방된 필드 조건에서 딸기 감지 정확도가 향상되는가?
• RQ2 SPPF를 CSPNet과 조합하면 다양한 딸기 데이터셋에서 YOLOv5s 모델의 일반화 능력이 향상되는가?
• RQ3 최신 기술 모델인 YOLOv8s 및 YOLOv5s-C2f와 비교해 제안된 YOLOv5s-Straw 모델의 mAP와 추론 속도는 어떻게 되는가?
• RQ4 실세계 실외 환경에서 다양한 성숙 수준의 딸기에서 모델이 높은 정확도를 유지하는 정도는 어느 정도인가?
• RQ5 로봇 배포를 위해 높은 정확도와 낮은 파라미터 수를 유지하면서도 실시간 성능(20ms 이내 추론)을 달성할 수 있는가?

주요 결과

• 제안된 YOLOv5s-Straw 모델은 평균 평균 정밀도(mAP)가 80.3%로, YOLOv3-tiny(73.4%), YOLOv5s(77.8%), YOLOv5s-C2f(79.8%), YOLOv8s(79.3%)보다 유의미하게 뛰어나다.
• 불완전한 클래스의 평균 정밀도(AP)는 82.1%, 거의 성숙한 클래스는 73.5%, 성숙한 클래스는 86.6%였다.
• YOLOv5s-Straw은 불완전한 클래스에서 YOLOv8s보다 2.3%p 높고, 성숙한 클래스에서 3.7%p 높았다.
• 모델은 이미지당 18ms의 추론 속도를 달성하여 실시간 로봇 응용에 적합하다.
• 8.6 × 10⁶개의 파라미터를 가진 YOLOv5s-Straw는 11.1 × 10⁶개의 파라미터와 21.0ms의 추론 시간을 가진 YOLOv8s보다 가볍고 빠르다.
• C2f와 SPPF-CSPNet의 통합은 특징 학습과 기울기 흐름을 크게 향상시켜, 복잡한 현장 조건에서의 검출 정확도와 견고성을 향상시켰다.