[論文レビュー] Machine Vision-Based Crop-Load Estimation Using YOLOv8

Dawood Ahmed, Ranjan Sapkota+2 more|arXiv (Cornell University)|Apr 26, 2023

Smart Agriculture and AI被引用数 17

ひとこと要約

この論文は RGB-D データを用いた YOLOv8 ベースの機械ビジョンシステムを提案し、リンゴの木の幹と枝を識別し、枝直径と枝の断面積を推定し、ロボット剪定・間引きのための枝ごとの作物負荷を予測します。地上実測値に合わせた誤差を報告し、商業オーチャードでの実現性を実証します。

ABSTRACT

Labor shortages in fruit crop production have prompted the development of mechanized and automated machines as alternatives to labor-intensive orchard operations such as harvesting, pruning, and thinning. Agricultural robots capable of identifying tree canopy parts and estimating geometric and topological parameters, such as branch diameter, length, and angles, can optimize crop yields through automated pruning and thinning platforms. In this study, we proposed a machine vision system to estimate canopy parameters in apple orchards and determine an optimal number of fruit for individual branches, providing a foundation for robotic pruning, flower thinning, and fruitlet thinning to achieve desired yield and quality.Using color and depth information from an RGB-D sensor (Microsoft Azure Kinect DK), a YOLOv8-based instance segmentation technique was developed to identify trunks and branches of apple trees during the dormant season. Principal Component Analysis was applied to estimate branch diameter (used to calculate limb cross-sectional area, or LCSA) and orientation. The estimated branch diameter was utilized to calculate LCSA, which served as an input for crop-load estimation, with larger LCSA values indicating a higher potential fruit-bearing capacity.RMSE for branch diameter estimation was 2.08 mm, and for crop-load estimation, 3.95. Based on commercial apple orchard management practices, the target crop-load (number of fruit) for each segmented branch was estimated with a mean absolute error (MAE) of 2.99 (ground truth crop-load was 6 apples per LCSA). This study demonstrated a promising workflow with high performance in identifying trunks and branches of apple trees in dynamic commercial orchard environments and integrating farm management practices into automated decision-making.

研究の動機と目的

• 果樹生産における労働力不足を解消するため、自動化された剪定、間引き、収穫のワークフローを可能にする。
• 果樹の幹/枝を識別し、果実負荷に影響する幾何パラメータを推定するビジョンベースの手法を開発する。
• センサデータと機械学習を統合したワークフローを作成し、自動化システムの作物負荷決定を支援するための。

提案手法

• 色情報と深度情報のために Microsoft Azure Kinect DK の RGB-D データを使用する。
• 休眠期に幹と枝を識別するために YOLOv8 ベースのインスタンスセグメンテーションを適用する。
• セグメンテーションされた構造から枝の直径と向きを推定するために主成分分析を適用する。
• 推定された枝の直径から limb cross-sectional area (LCSA) を計算し、作物負荷推定の入力とする。
• LCSA に基づいてセグメント化された各枝のターゲット作物負荷を推定し、地上実測値に対する MAE を報告する。

実験結果

リサーチクエスチョン

• RQ1 YOLOv8 ベースのインスタンスセグメンテーションは、休眠期の商業リンゴ園で幹と枝を正確に識別できるか。
• RQ2 RGB-D データから枝の直径と向きを推定して LCSA を算出し、作物負荷推定に利用することはどれくらい正確か。
• RQ3 推定される枝ごとの作物負荷の精度は、地上実測値と比較して MAE はどの程度か。
• RQ4 提案されたワークフローは、実際のオーチャード環境で自動化剪定・間引きプラットフォームと統合するのに十分頑健か。
• RQ5 実世界の環境で実現可能な実用的な性能指標（例：深度精度、セグメンテーション性能）はどの程度か。

主な発見

• 枝の直径推定の平均パフォーマンス指標は 2.08 mm（直径推定）である。
• 枝ごとの作物負荷推定は、MAE が 2.99 apples per branch（地上真値が 6 apples per LCSA の場合）で達成された。
• このアプローチは、ダイナミックな商業園環境での幹と枝の高精度識別を実現する。
• ワークフローは剪定・間引きの自動意思決定への農場管理慣行の統合をサポートする。
• このシステムは実用的な設定で RGB-D データと YOLOv8 を用いた作物負荷関連の意思決定の実現性を示す。