[논문 리뷰] Performance Evaluation of YOLOv8 Model Configurations, for Instance Segmentation of Strawberry Fruit Development Stages in an Open Field Environment

Abdul-Razak Alhassan Gamani, Ibrahim Arhin외 1명|arXiv (Cornell University)|2024. 08. 11.

Horticultural and Viticultural ResearchAgricultural and Biological Sciences인용 수 3

한 줄 요약

이 연구는 개방된 필드 환경에서 익은 및 익지 않은 딸기 열매의 인스턴스 세분화를 위한 YOLOv8 모델 설정을 평가한다. 커스터마이즈된 데이터셋을 사용하여 YOLOv8n 버전이 80.9%의 최고 mAP와 24.2ms의 빠른 추론 속도를 기록하여 실시간 현장 응용에서 정확도와 속도 면에서 더 큰 버전들을 능가했다.

ABSTRACT

Accurate identification of strawberries during their maturing stages is crucial for optimizing yield management, and pest control, and making informed decisions related to harvest and post-harvest logistics. This study evaluates the performance of YOLOv8 model configurations for instance segmentation of strawberries into ripe and unripe stages in an open field environment. The YOLOv8n model demonstrated superior segmentation accuracy with a mean Average Precision (mAP) of 80.9\%, outperforming other YOLOv8 configurations. In terms of inference speed, YOLOv8n processed images at 12.9 milliseconds, while YOLOv8s, the least-performing model, processed at 22.2 milliseconds. Over 86 test images with 348 ground truth labels, YOLOv8n detected 235 ripe fruit classes and 51 unripe fruit classes out of 251 ground truth ripe fruits and 97 unripe ground truth labels, respectively. In comparison, YOLOv8s detected 204 ripe fruits and 37 unripe fruits. Overall, YOLOv8n achieved the fastest inference speed of 24.2 milliseconds, outperforming YOLOv8s, YOLOv8m, YOLOv8l, and YOLOv8x, which processed images at 33.0 milliseconds, 44.3 milliseconds, 53.6 milliseconds, and 62.5 milliseconds, respectively. These results underscore the potential of advanced object segmentation algorithms to address complex visual recognition tasks in open-field agriculture effectively to address complex visual recognition tasks in open-field agriculture effectively.

연구 동기 및 목표

• 개방된 필드 환경에서 딸기 열매 발달 단계의 인스턴스 세분화를 위한 다수의 YOLOv8 모델 설정 성능을 평가하는 것.
• 실시간 农업 응용을 위한 정확도와 추론 속도 사이의 최적 균형을 갖춘 YOLOv8 설정을 특정하는 것.
• 정확한 익은 및 익지 않은 딸기 열매 탐지로 자동 수확 예측 및 수확 결정 지원을 위한 것.
• 깊이 학습을 활용하여 가림, 변동하는 조도, 복잡한 배경 등의 현장 조건 과제를 해결하는 것.

제안 방법

• 딸기 열매의 인스턴스 세분화를 위해 YOLOv8n, YOLOv8s, YOLOv8m, YOLOv8l, YOLOv8x 모델을 사용하였다.
• 학습 및 평가에 사용된 데이터셋은 240장의 이미지와 348개의 지도 레이블(251개 익은, 97개 익지 않은)을 포함한다.
• 모델 성능은 mAP(이매지오율 임계치 0.5), 추론 속도, 정밀도, 재현율, F1-스코어 지표를 사용해 평가되었다.
• 탐지 신뢰도 평가를 위해 정밀도-재현율, F1-신뢰도, 재현율-신뢰도 곡선을 시각화하였다.
• 모든 설정 간 정량적 비교를 통해 YOLOv8n 모델이 속도와 정확도의 최적 균형을 확보하여 선택되었다.
• 모든 모델 설정에서 동일한 조건 하에 이미지당 밀리초 단위로 추론 속도를 측정하였다.

Figure 1 : Block diagram illustrating the strawberry instance segmentation workflow and yield estimation

실험 결과

연구 질문

• RQ1 개방된 필드 조건에서 익은 및 익지 않은 딸기 열매의 인스턴스 세분화 정확도를 가장 높게 달성하는 YOLOv8 모델 설정은 무엇인가?
• RQ2 다양한 크기의 YOLOv8 모델은 현장 구현에서의 추론 속도와 실시간 구현 가능성 면에서 어떻게 비교되는가?
• RQ3 모델 아키텍처는 작은, 가려진, 부분적으로 보이는 딸기 열매의 탐지 재현율과 정밀도에 어떤 영향을 미치는가?
• RQ4 YOLOv8n은 복잡한 배경과 변동하는 조도를 가진 실제 개방 필드 환경에 효과적으로 일반화될 수 있는가?

주요 결과

• YOLOv8n은 모든 클래스에서 가장 높은 평균 평균 정밀도(mAP) 80.9%를 기록하여 다른 모든 YOLOv8 설정을 능가했다.
• YOLOv8n은 이미지당 24.2밀리초의 가장 빠른 추론 속도를 기록하여 YOLOv8s(33.0ms), YOLOv8m(44.3ms), YOLOv8l(53.6ms), YOLOv8x(62.5ms)를 크게 앞섰다.
• YOLOv8n은 각각 251개와 97개의 지도 레이블에서 235개의 익은 열매와 51개의 익지 않은 열매를 탐지하여 높은 탐지 재현율을 보였다.
• 가장 정확도가 낮은 YOLOv8s는 단지 204개의 익은 열매와 37개의 익지 않은 열매만 탐지하여 뚜렷한 성능 격차를 보였다.
• 재현율-신뢰도 곡선은 가장 낮은 신뢰도 임계치에서 93%의 재현율을 나타내어 강력한 탐지 민감도를 보였다.
• F1-신뢰도 곡선은 0.524의 신뢰도 임계치에서 평균 정밀도 78%를 나타내어 정밀도와 재현율 사이의 균형 잡힌 우수한 성능을 확인했다.

Figure 2 : ripe and unripe fruits