[논문 리뷰] An Application of Deep Learning for Sweet Cherry Phenotyping using YOLO Object Detection

Ritayu Nagpal, Sam Long외 5명|arXiv (Cornell University)|2023. 02. 13.

Smart Agriculture and AIAgricultural and Biological Sciences인용 수 3

한 줄 요약

이 논문은 실시간 감자 감지, 수량 셈세기, 크기 추정 및 색상 분류를 가능하게 하는 YOLOv3 기반 딥러닝 시스템을 제안한다. 이 모델은 물체 감지에서 99%의 정확도와 국소화에서 90%의 교차율(Intersection over Union, IoU)을 달성하여 수동 방법에 비해 속도와 일관성 면에서 뛰어나며 인간의 오류와 편향을 줄인다.

ABSTRACT

Tree fruit breeding is a long-term activity involving repeated measurements of various fruit quality traits on a large number of samples. These traits are traditionally measured by manually counting the fruits, weighing to indirectly measure the fruit size, and fruit colour is classified subjectively into different color categories using visual comparison to colour charts. These processes are slow, expensive and subject to evaluators' bias and fatigue. Recent advancements in deep learning can help automate this process. A method was developed to automatically count the number of sweet cherry fruits in a camera's field of view in real time using YOLOv3. A system capable of analyzing the image data for other traits such as size and color was also developed using Python. The YOLO model obtained close to 99% accuracy in object detection and counting of cherries and 90% on the Intersection over Union metric for object localization when extracting size and colour information. The model surpasses human performance and offers a significant improvement compared to manual counting.

연구 동기 및 목표

• 수행 시간이 오래 걸리고 오류가 발생하기 쉬운 수동 방법을 해결하기 위해 육종 프로그램에서 당도 감자의 형질 분석을 자동화하기 위해.
• 딥러닝을 활용하여 실시간으로 정확하고 일관된 수량 세기, 크기 측정 및 색상 분류를 수행할 수 있는 시스템을 개발하기 위해.
• 주관적인 시각적 비교 대신 객관적이고 데이터 기반의 분석으로 인한 인간의 편향과 피로를 줄이기 위해.
• 파이썬, OpenCV, Tkinter를 사용하여 종합적인 桌面 애플리케이션을 구축하여 이미지 분석 및 데이터 내보내기까지의 전 과정을 지원하기 위해.
• 딥러닝 모델이 감자 형질 분석 작업에서 인간의 성능을 뛰어넘는 속도와 정확도를 보일 수 있음을 입증하기 위해.

제안 방법

• 감자 이미지에서 물체 감지 및 국소화를 위해 YOLOv3 및 YOLOv3 EfficientNet을 활용하였다.
• 통제된 환경에서 촬영한 당도 감자 이미지로 구성된 고유 레이블링 데이터셋을 기반으로 전이 학습을 통해 모델을 훈련시켰다.
• 이미지 치수에서 유도된 바운딩 박스 회귀 및 신뢰도 점수를 활용하여 감자 크기를 추정하였다.
• 검출된 바운딩 박스에서 평균 RGB 값에 기반한 색상 분류를 수행하였으며, CTIFL 색상 기준과 비교하였다.
• 실시간 분석 및 스프레드시트로의 데이터 내보내기를 위한 데스크톱 애플리케이션 개발을 위해 모델을 OpenCV 및 Tkinter와 통합하였다.
• 신뢰도 및 비최대 제거 임계값 등의 하이퍼파라미터 조정을 통해 추론 속도와 정확도를 최적화하였다.

실험 결과

연구 질문

• RQ1 YOLO 기반 물체 감지가 실생활 농업 이미지에서 당도 감자를 수량 세기 및 국소화에 있어 높은 정확도를 달성할 수 있는가?
• RQ2 YOLOv3의 성능은 속도, 정확도 및 일관성 측면에서 전통적인 수동 형질 분석 방법에 비해 어떻게 비교되는가?
• RQ3 딥러닝 모델이 이미지 데이터에서 감자 크기와 색상을 얼마나 정확하게 추정할 수 있으며, 인간 평가와 비교해 볼 때 어떤가?
• RQ4 자동화된 시스템은 이전에 수집된 수동 데이터에 존재하는 오류를 탐지하고 수정할 수 있는가?
• RQ5 이미지 전처리, 조명 변화 및 화이트 밸런스가 형질 분석 응용 분야에서 색상 분류의 신뢰성에 어떤 영향을 미치는가?

주요 결과

• YOLOv3 모델은 감자 감지 및 수량 셈세기에서 99%의 정확도를 달성하여 수동 수량 셈세기의 속도와 일관성 면에서 뛰어나게 성과를 보였다.
• 모델은 90%의 교차율(Intersection over Union, IoU) 점수를 기록하여 크기 및 색상 추정을 위한 물체 국소화 정밀도가 매우 높음을 시사하였다.
• YOLO 예측 크기와 전통적인 무게 기반 측정 간 상관계수는 0.875(p < 0.001)였으며, 분산의 76.5%를 설명하였다.
• 색상 분류 정확도는 72%에 달했으며, 인간 평가의 주관성과 조명 변화의 변동성 고려 시 전문가들에 의해 만족스럽다고 평가되었다.
• 수동 방법 대비 처리 시간을 95% 감소시켜 고속도의 형질 분석을 가능케 하였다.
• 이전 년도의 이미지 데이터셋에서 수동 오류를 성공적으로 탐지하고 수정함으로써 모델의 강건성과 신뢰성을 입증하였다.