[論文レビュー] Dataset and Performance Comparison of Deep Learning Architectures for Plum Detection and Robotic Harvesting

Jasper Brown, Salah Sukkarieh|arXiv (Cornell University)|May 9, 2021

Smart Agriculture and AI参考文献 29被引用数 4

ひとこと要約

本稿では、昼間および夜間の条件下で実際のロボットプラム収穫作業中に収集した2つの新しいRGB-Dデータセットを紹介し、4つのディープラーニングオブジェクト検出器（RetinaNet、Faster R-CNN、YOLOv3、CenterNet）をベンチマークする。トランスファーラーニングは小規模データセットにおいて不可欠であることが判明し、一部のモデルでは夜間検出が昼間よりも正確である。RGBD融合はわずかな利点しか得られず、データ拡張の方が深度統合よりも効果的であることが示された。

ABSTRACT

Many automated operations in agriculture, such as weeding and plant counting, require robust and accurate object detectors. Robotic fruit harvesting is one of these, and is an important technology to address the increasing labour shortages and uncertainty suffered by tree crop growers. An eye-in-hand sensing setup is commonly used in harvesting systems and provides benefits to sensing accuracy and flexibility. However, as the hand and camera move from viewing the entire trellis to picking a specific fruit, large changes in lighting, colour, obscuration and exposure occur. Object detection algorithms used in harvesting should be robust to these challenges, but few datasets for assessing this currently exist. In this work, two new datasets are gathered during day and night operation of an actual robotic plum harvesting system. A range of current generation deep learning object detectors are benchmarked against these. Additionally, two methods for fusing depth and image information are tested for their impact on detector performance. Significant differences between day and night accuracy of different detectors is found, transfer learning is identified as essential in all cases, and depth information fusion is assessed as only marginally effective. The dataset and benchmark models are made available online.

研究の動機と目的

• 変動する照明条件や遮蔽がある中で、ロボット果実収穫の分野におけるディープラーニングオブジェクト検出器を評価するための現実的でアプリケーション特化型のデータセットが不足しているという問題に対処すること。
• 実世界の昼間および夜間の収穫状況下で、最先端のディープラーニングオブジェクト検出器（RetinaNet、Faster R-CNN、YOLOv3、CenterNet）をベンチマークすること。
• 早期融合および後期融合の戦略を用いたRGBと深度データの統合が、検出性能に与える影響を評価すること。
• トランスファーラーニングおよびデータ拡張が、小規模な農業分野のデータセットにおける検出器の精度向上に果たす役割を評価すること。
• 今後の農業ロボティクスおよび果実検出分野の研究を支援するため、公開可能なデータセットおよびトレーニング済みモデルを提供すること。

提案手法

• Intel Realsense D435カメラを用いたアインハンドロボットプラム収穫システムから、700枚のアノテート済みRGB-D画像（昼間350枚、夜間350枚）を収集した。
• 昼間および夜間のデータセット上で、4つのディープラーニングオブジェクト検出アーキテクチャ（RetinaNet、Faster R-CNN、YOLOv3、CenterNet）を訓練および評価した。
• 2つのRGBD融合戦略を実装した：早期融合（RGBと深度を4チャンネル入力として連結）および後期融合（RGBおよび深度のバックボーンから得た特徴を連結）。
• ImageNetで事前学習された重みを用いたトランスファーラーニングと、データ拡張（ランダムクロッピング、カラージッタリング）を適用し、小規模データセットでの性能向上を図った。
• 全モデルおよび設定における検出性能を評価するために、IOU閾値0.5における平均平均精度（mAP）を用いた。
• バックボーンアーキテクチャ、トランスファーラーニング、融合戦略の各要因が検出精度に与える影響を分離するためのアブレーションスタディを実施した。

実験結果

リサーチクエスチョン

• RQ1 最先端のディープラーニングオブジェクト検出器は、昼間および夜間の条件下で収集された実世界のロボットプラム収穫データに対して、どのように性能を発揮するか？
• RQ2 小規模な農業分野のデータセットで学習する際、トランスファーラーニングが検出器の性能に与える影響は何か？
• RQ3 RGBと深度データの早期融合または後期融合は、ロボット収穫シナリオにおけるオブジェクト検出精度を向上させるか？
• RQ4 なぜ、昼間と夜間のデータセット間での検出性能の差が、モデルによって顕著に異なるのか？特に、夜間は可視性は低いが果実が覆い隠されている状況であるにもかかわらず。
• RQ5 このカスタムデータセットにおけるモデルの性能は、COCOベンチマークでの報告された性能と比べてどうか？

主な発見

• トランスファーラーニングは、すべてのモデルにおいて不可欠であり、小規模データセットでの性能向上に顕著な効果を示し、アーキテクチャの選択よりも大きな影響を及ぼした。
• Faster R-CNNは、夜間データセットで最高の平均精度（mAP 0.78）を達成し、YOLOv3 や RetinaNet といったより最新で高速なネットワークを上回った。
• RetinaNetは、ResNet-101バックボーンを用いたトランスファーラーニングとデータ拡張を組み合わせることで、昼間データセットで最高のmAP（0.82）を達成した。
• RGBと深度特徴の後期融合は、RGBのみのベースラインよりもわずかに性能を向上させたが、早期融合は性能を低下させた。
• データ拡張は、深度統合よりも大きな性能向上をもたらした。これは、RGBデータセットの拡張が、深度情報の追加よりも効果的であることを示唆している。
• CenterNetは、COCOでの高いmAPを示したにもかかわらず、両方のデータセットで性能が低かった。これは、COCOでの性能が農業分野の検出タスクにおいて信頼できる予測指標ではないことを示している。