[논문 리뷰] Machine Vision-Based Crop-Load Estimation Using YOLOv8

Dawood Ahmed, Ranjan Sapkota외 2명|arXiv (Cornell University)|2023. 04. 26.

Smart Agriculture and AI인용 수 17

한 줄 요약

논문은 RGB-D 데이터를 사용하여 Apple 트리의 줄기와 가지를 식별하고, 가지 지름과 가지의 횡단면적을 추정하며, 로봇 가지치기 및 얹은 얽음(thinning)을 위한 가지당 작물부하를 예측하는 YOLOv8 기반의 기계 비전 시스템을 제시합니다. Ground-truth에 정렬된 오차를 보고하고 상용 과수원에서의 실행 가능성을 시연합니다.

ABSTRACT

Labor shortages in fruit crop production have prompted the development of mechanized and automated machines as alternatives to labor-intensive orchard operations such as harvesting, pruning, and thinning. Agricultural robots capable of identifying tree canopy parts and estimating geometric and topological parameters, such as branch diameter, length, and angles, can optimize crop yields through automated pruning and thinning platforms. In this study, we proposed a machine vision system to estimate canopy parameters in apple orchards and determine an optimal number of fruit for individual branches, providing a foundation for robotic pruning, flower thinning, and fruitlet thinning to achieve desired yield and quality.Using color and depth information from an RGB-D sensor (Microsoft Azure Kinect DK), a YOLOv8-based instance segmentation technique was developed to identify trunks and branches of apple trees during the dormant season. Principal Component Analysis was applied to estimate branch diameter (used to calculate limb cross-sectional area, or LCSA) and orientation. The estimated branch diameter was utilized to calculate LCSA, which served as an input for crop-load estimation, with larger LCSA values indicating a higher potential fruit-bearing capacity.RMSE for branch diameter estimation was 2.08 mm, and for crop-load estimation, 3.95. Based on commercial apple orchard management practices, the target crop-load (number of fruit) for each segmented branch was estimated with a mean absolute error (MAE) of 2.99 (ground truth crop-load was 6 apples per LCSA). This study demonstrated a promising workflow with high performance in identifying trunks and branches of apple trees in dynamic commercial orchard environments and integrating farm management practices into automated decision-making.

연구 동기 및 목표

• 과일 생산에서의 노동력 부족 문제를 자동 가지치기, 얹은 얽음(thinning), 수확 워크플로우로 해결한다.
• 트리 트렁크/가지 식별 및 과일 부하에 영향을 주는 기하 매개변수를 추정하는 비전 기반 방법을 개발한다.
• 센서 데이터와 머신러닝을 통합한 워크플로우를 만들어 자동 시스템의 작물부하 의사결정을 지원한다.

제안 방법

• Microsoft Azure Kinect DK의 RGB-D 데이터를 색상 및 깊이 정보로 사용한다.
• 휴면기 동안 트렁크와 가지를 식별하기 위해 YOLOv8 기반 인스턴스 세분화를 적용한다.
• 세분화된 구조로부터 가지 지름과 방향을 추정하기 위해 주성분분석(Principal Component Analysis, PCA)을 적용한다.
• 추정된 가지 지름으로부터 리므(Limb) 횡단면 면적(LCSA)을 계산하여 작물부하 추정의 입력으로 사용한다.
• LCSA를 바탕으로 세분화된 가지당 목표 작물부하를 추정하고, Ground truth에 대한 MAE를 보고한다.

실험 결과

연구 질문

• RQ1 YOLOv8 기반 인스턴스 세분화가 상용 사과 과수원에서 휴면기에 트렁크와 가지를 정확하게 식별할 수 있는가?
• RQ2 RGB-D 데이터로 가지의 지름과 방향을 어떻게 정확히 추정하고 이를 사용해 LCSA를 계산하여 작물부하 추정에 활용할 수 있는가?
• RQ3 예상 가지당 작물부하의 MAE는 Ground truth에 비해 얼마나 정확한가?
• RQ4 제안된 워크플로우가 실제 과수원 환경에서 자동 가지치기 및 얹은 얽음 플랫폼과의 통합에 충분히 견고한가?
• RQ5 실제 환경에서 달성 가능한 실용적 성능 지표(예: 깊이 정확도, 세분화 성능)는 무엇인가?

주요 결과

• 가지 지름 추정 오차는 평균 성능 지표 2.08 mm(지름 추정에 대해)로 달성되었습니다.
• 가지당 작물부하 추정의 평균 절대 오차는 2.99 apples per branch로, Ground truth가 6 apples per LCSA인 경우에 해당합니다.
• 이 접근법은 동적 상용 과수원 환경에서 트렁크와 가지의 고성능 식별을 가능하게 합니다.
• 워크플로우는 가지치기 및 얹은 얽음 자동 의사결정에 농장 관리 관행의 통합을 지원합니다.
• 시스템은 실용적 설정에서 RGB-D 데이터와 YOLOv8를 작물부하 관련 의사결정에 사용할 수 있는 실행 가능성을 시연합니다.