[論文レビュー] Performance Evaluation of YOLOv8 Model Configurations, for Instance Segmentation of Strawberry Fruit Development Stages in an Open Field Environment

Abdul-Razak Alhassan Gamani, Ibrahim Arhin+1 more|arXiv (Cornell University)|Aug 11, 2024

Horticultural and Viticultural ResearchAgricultural and Biological Sciences被引用数 3

ひとこと要約

本研究では、独自のデータセットを用いて、オープンフィールド環境下における完熟および未熟なイチゴの実のインスタンスセグメンテーションのためのYOLOv8モデル設定を評価した。YOLOv8nバージョンが80.9%のmAPを達成し、24.2msの最速の推論速度を記録し、リアルタイムの現地応用において、精度と速度の両面でより大きなバージョンを上回った。

ABSTRACT

Accurate identification of strawberries during their maturing stages is crucial for optimizing yield management, and pest control, and making informed decisions related to harvest and post-harvest logistics. This study evaluates the performance of YOLOv8 model configurations for instance segmentation of strawberries into ripe and unripe stages in an open field environment. The YOLOv8n model demonstrated superior segmentation accuracy with a mean Average Precision (mAP) of 80.9\%, outperforming other YOLOv8 configurations. In terms of inference speed, YOLOv8n processed images at 12.9 milliseconds, while YOLOv8s, the least-performing model, processed at 22.2 milliseconds. Over 86 test images with 348 ground truth labels, YOLOv8n detected 235 ripe fruit classes and 51 unripe fruit classes out of 251 ground truth ripe fruits and 97 unripe ground truth labels, respectively. In comparison, YOLOv8s detected 204 ripe fruits and 37 unripe fruits. Overall, YOLOv8n achieved the fastest inference speed of 24.2 milliseconds, outperforming YOLOv8s, YOLOv8m, YOLOv8l, and YOLOv8x, which processed images at 33.0 milliseconds, 44.3 milliseconds, 53.6 milliseconds, and 62.5 milliseconds, respectively. These results underscore the potential of advanced object segmentation algorithms to address complex visual recognition tasks in open-field agriculture effectively to address complex visual recognition tasks in open-field agriculture effectively.

研究の動機と目的

• オープンフィールド環境下におけるイチゴの実の発育段階のインスタンスセグメンテーションのための複数のYOLOv8モデル設定の性能を評価すること。
• リアルタイム農業アプリケーションに適した、精度と推論速度のバランスが取れた最適なYOLOv8設定を特定すること。
• 完熟および未熟なイチゴの正確な検出を通じて、自動収量推定および収穫意思決定支援を行うこと。
• 遮蔽、変動する照明、複雑な背景といった現地条件の課題をディーブラーニングを用いて解決すること。

提案手法

• 本研究では、イチゴの実のインスタンスセグメンテーションに、YOLOv8n、YOLOv8s、YOLOv8m、YOLOv8l、YOLOv8xの各モデルを用いた。
• 学習および評価に使用したデータセットは240枚の画像と348個の正例ラベル（完熟251個、未熟97個）を含んでいた。
• モデルの性能は、IoU閾値0.5でのmAPに加え、推論速度、適合率、再現率、F1スコアの指標を用いて評価された。
• 検出の信頼性を評価するために、適合率-再現率、F1-信頼度、再現率-信頼度の曲線を可視化した。
• YOLOv8nは、すべての設定における定量的比較を通じて、速度と精度の最適なバランスを示したため、選定された。
• 推論速度は、同一条件下でのすべてのモデルバージョンに対して、1枚あたりのミリ秒単位で測定された。

Figure 1 : Block diagram illustrating the strawberry instance segmentation workflow and yield estimation

実験結果

リサーチクエスチョン

• RQ1 どのYOLOv8モデル設定が、オープンフィールド環境下における完熟および未熟なイチゴの実のインスタンスセグメンテーション精度を最も高めるか？
• RQ2 異なるサイズのYOLOv8モデルは、現地への導入に際して、推論速度およびリアルタイム実行可能性においてどのように比較されるか？
• RQ3 モデルアーキテクチャの違いが、小さく、遮蔽されている、または部分的にしか見えないイチゴの実の検出再現率および適合率に与える影響は何か？
• RQ4 YOLOv8nは、複雑な背景や変動する照明を伴う現実世界のオープンフィールド環境に、効果的に一般化できるか？

主な発見

• YOLOv8nは、すべてのクラスにおいて最高の平均適合率（mAP）80.9%を達成し、他のすべてのYOLOv8設定を上回った。
• YOLOv8nは1枚あたり24.2ミリ秒の最速の推論速度を示し、YOLOv8s（33.0ms）、YOLOv8m（44.3ms）、YOLOv8l（53.6ms）、YOLOv8x（62.5ms）を大きく上回った。
• YOLOv8nは、正例ラベルの251個中235個の完熟果実、97個中51個の未熟果実を検出しており、高い検出再現率を示した。
• 最も精度が低かったYOLOv8sは、完熟果実204個、未熟果実37個しか検出できず、顕著な性能差が確認された。
• 再現率-信頼度曲線から、最低の信頼度閾値で93%の再現率が達成されたことから、検出感度が非常に高いことが示された。
• F1-信頼度曲線から、信頼度閾値0.524における平均適合率が78%であることが確認され、適合率と再現率のバランスが良好であることが裏付けられた。

Figure 2 : ripe and unripe fruits