[論文レビュー] Real-time Strawberry Detection Based on Improved YOLOv5s Architecture for Robotic Harvesting in open-field environment

Zixuan He, Salik Ram Khana+3 more|arXiv (Cornell University)|Aug 8, 2023

Smart Agriculture and AI被引用数 6

ひとこと要約

本研究では、オープンフィールド環境におけるリアルタイムイチゴ検出を目的とした、YOLOv5sに基づく改良型オブジェクト検出モデル、YOLOv5s-Strawを提案する。C3モジュールをC2fに置き換え、SPPFをCSPNetと統合することで、80.3%のmAPを達成し、YOLOv3-tiny、YOLOv5s、YOLOv5s-C2f、YOLOv8sを上回る精度と速度を実現。1枚あたり18msの推論時間、パラメータ数は8.6Mにとどまる。

ABSTRACT

This study proposed a YOLOv5-based custom object detection model to detect strawberries in an outdoor environment. The original architecture of the YOLOv5s was modified by replacing the C3 module with the C2f module in the backbone network, which provided a better feature gradient flow. Secondly, the Spatial Pyramid Pooling Fast in the final layer of the backbone network of YOLOv5s was combined with Cross Stage Partial Net to improve the generalization ability over the strawberry dataset in this study. The proposed architecture was named YOLOv5s-Straw. The RGB images dataset of the strawberry canopy with three maturity classes (immature, nearly mature, and mature) was collected in open-field environment and augmented through a series of operations including brightness reduction, brightness increase, and noise adding. To verify the superiority of the proposed method for strawberry detection in open-field environment, four competitive detection models (YOLOv3-tiny, YOLOv5s, YOLOv5s-C2f, and YOLOv8s) were trained, and tested under the same computational environment and compared with YOLOv5s-Straw. The results showed that the highest mean average precision of 80.3% was achieved using the proposed architecture whereas the same was achieved with YOLOv3-tiny, YOLOv5s, YOLOv5s-C2f, and YOLOv8s were 73.4%, 77.8%, 79.8%, 79.3%, respectively. Specifically, the average precision of YOLOv5s-Straw was 82.1% in the immature class, 73.5% in the nearly mature class, and 86.6% in the mature class, which were 2.3% and 3.7%, respectively, higher than that of the latest YOLOv8s. The model included 8.6*10^6 network parameters with an inference speed of 18ms per image while the inference speed of YOLOv8s had a slower inference speed of 21.0ms and heavy parameters of 11.1*10^6, which indicates that the proposed model is fast enough for real time strawberry detection and localization for the robotic picking.

研究の動機と目的

• 変動する屋外の照明条件や複雑なフィールド状況における正確でリアルタイムのイチゴ検出の課題に対処すること。
• 安定した照明を要する従来の画像処理手法の限界を克服し、形態的変異に困難を示さないよう対応すること。
• 未熟、ほぼ熟成、熟成の3段階の成熟度にわたり検出精度を向上させ、ロボットハーベスティング意思決定を支援すること。
• オープンフィールド農業におけるロボットプラットフォームへの展開に適した軽量で高速かつ頑丈なモデルを開発すること。
• 特徴抽出と勾配伝播を向上させ、実世界のイチゴカノピー画像における汎化性能と検出性能を向上させること。

提案手法

• バックボーンのYOLOv5sにおけるC3モジュールをC2fモジュールに置き換えることで、勾配伝播と特徴学習を改善した。
• 空間畳み込みプーリング・ファスト（SPPF）ブロックをクロスステージパーシャルネットワーク（CSPNet）と統合し、特徴マップ表現力と汎化能力を向上させた。
• 3つの成熟度クラスを含む、オープンフィールド環境下でのイチゴカノピーのRGBデータセットを収集・拡張した。
• 明るさの低下、明るさの増加、ノイズ追加などのデータ拡張技術を適用し、耐性を向上させた。
• 同一の計算環境下でYOLOv3-tiny、YOLOv5s、YOLOv5s-C2f、YOLOv8sと同等の条件で、提案されたYOLOv5s-Strawモデルを訓練および評価した。
• 比較分析の主な評価指標として、平均平均精度（mAP）と推論速度を用いた。

実験結果

リサーチクエスチョン

• RQ1 YOLOv5sのC3モジュールをC2fモジュールに置き換えることで、オープンフィールド環境下でのイチゴ検出精度が向上するか？
• RQ2 SPPFとCSPNetを組み合わせることで、多様なイチゴデータセット上でのYOLOv5sモデルの汎化能力が向上するか？
• RQ3 提案されたYOLOv5s-Strawモデルは、SOTAモデルのYOLOv8sやYOLOv5s-C2fと比較して、mAPおよび推論速度でどのように差をつけるか？
• RQ4 実世界の屋外環境下で、イチゴの成熟度にかかわらず、高い精度を維持できるか？
• RQ5 ロボット搭載に適した、高精度かつ低パラメータ数を維持しながら、リアルタイム性能（20ms未満の推論）を達成できるか？

主な発見

• 提案されたYOLOv5s-Strawモデルは、平均平均精度（mAP）が80.3%に達し、YOLOv3-tiny（73.4%）、YOLOv5s（77.8%）、YOLOv5s-C2f（79.8%）、YOLOv8s（79.3%）を大きく上回った。
• 未熟クラスでは82.1%の平均精度（AP）、ほぼ熟成クラスでは73.5%、熟成クラスでは86.6%のAPを達成した。
• 未熟クラスではYOLOv8sを2.3ポイント、熟成クラスでは3.7ポイント上回った。
• 1枚あたり18msの推論速度を達成し、リアルタイムのロボットアプリケーションに適していた。
• パラメータ数が8.6 × 10⁶にとどまり、YOLOv8s（11.1 × 10⁶パラメータ、21.0ms推論時間）よりも軽量で高速であった。
• C2fとSPPF-CSPNetの統合により、特徴学習と勾配伝播が顕著に向上し、複雑なフィールド状況下での検出精度と耐性が向上した。