[論文レビュー] A Sweet Pepper Harvesting Robot for Protected Cropping Environments

Chris Lehnert, Chris McCool+2 more|arXiv (Cornell University)|Oct 29, 2018

Smart Agriculture and AI参考文献 40被引用数 9

ひとこと要約

本論文では、ミニインセプション深層学習モデルを用いたpeduncle（果柄）セグメンテーションと3次元後処理フィルタリングを統合することで、76.5%の成功率を達成する、保護栽培環境におけるズキナリーパンプキン用ロボットハーベスタ―「Harvey」を提案する。このシステムは、独立した把持と切断動作を可能にする分離機構を備えたマルチモードエンドエフェクタ（吸引グリッパーと振動刃）を採用し、先行研究や最先端技術を著しく上回る性能を発揮する。

ABSTRACT

Using robots to harvest sweet peppers in protected cropping environments has remained unsolved despite considerable effort by the research community over several decades. In this paper, we present the robotic harvester, Harvey, designed for sweet peppers in protected cropping environments that achieved a 76.5% success rate (within a modified scenario) which improves upon our prior work which achieved 58% and related sweet pepper harvesting work which achieved 33\%. This improvement was primarily achieved through the introduction of a novel peduncle segmentation system using an efficient deep convolutional neural network, in conjunction with 3D post-filtering to detect the critical cutting location. We benchmark the peduncle segmentation against prior art demonstrating a considerable improvement in performance with an F_1 score of 0.564 compared to 0.302. The robotic harvester uses a perception pipeline to detect a target sweet pepper and an appropriate grasp and cutting pose used to determine the trajectory of a multi-modal harvesting tool to grasp the sweet pepper and cut it from the plant. A novel decoupling mechanism enables the gripping and cutting operations to be performed independently. We perform an in-depth analysis of the full robotic harvesting system to highlight bottlenecks and failure points that future work could address.

研究の動機と目的

• 人的資源不足、入力コストの上昇、気候変動といった要因に起因する、園芸分野におけるロボット収穫の持続的課題に対処する。
• 保護栽培システムにおけるズキナリーパンプキン収穫のための認識と操作の主要なボトル neck を克服する。
• 先行研究で達成された58%および関連研究で報告された33%を上回る収穫成功率を向上させる。
• ペッパーの検出と最適な把持および切断ポーズの特定を正確に行う、認識から行動へのパイプラインを構築する。
• 複雑な視覚的・物理的遮蔽が生じる実環境の保護栽培環境における実用的導入を可能にする。

提案手法

• RGB-Dセンシングと軽量な深層畳み込みニューラルネットワーク（MiniInception）を組み合わせた認識パイプラインを採用し、リアルタイムでの果柄セグメンテーションを実現する。
• 3次元後処理フィルタリングを適用してセグメンテーションを精緻化し、果柄の重要な切断位置を正確に推定する。
• 吸引グリッパーによる把持と振動刃による切断を実現するマルチモードエンドエフェクタを、新規の分離機構により駆動する。
• 検出された把持および切断ポーズに基づいた軌道計画により、ロボットアームの連携動作をガイドする。
• 把持と切断の動作を分離することで、制御性と信頼性を向上させる、モジュラーなシステムアーキテクチャを採用する。
• 実環境の保護栽培環境を改造した環境で実地テストを実施し、実際の条件下での性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 ミニインセプションのような軽量な深層学習モデルは、複雑で遮蔽の多い農業環境でも、高精度な果柄セグメンテーションを達成できるか？
• RQ2 2次元セグメンテーションに比べて、3次元後処理フィルタリングは切断位置推定の精度をどの程度向上させるか？
• RQ3 把持と切断動作を分離することで、収穫の信頼性と成功率はどの程度向上するか？
• RQ4 ロボットによるズキナリーパンプキン収穫における主な失敗モードは何か。認識と制御をどのように強化すればそれらを軽減できるか？
• RQ5 本システムは、同様の環境条件下で他の高付加価値園芸作物へ汎用可能か？

主な発見

• Harveyロボットは、改造済みの実環境保護栽培環境で76.5%の収穫成功率を達成し、先行システムの58%および最先端技術の33%を著しく上回った。
• MiniInceptionを用いた果柄セグメンテーションは、F1スコア0.564を達成し、先行手法のF1スコア0.302に比べ顕著な向上を示した。
• 3次元後処理フィルタリングの統合により、部分的遮蔽や照明の変動に起因する切断位置推定誤差が低減された。
• 分離型の把持・切断機構により、より信頼性の高い分離が可能になり、部分的な切断や果実の滑りが減少した。
• 低コントラストの背景や葉による遮蔽といった困難な視覚的条件下でも、システムは高い頑健性を示した。
• 高い成功率を達成したものの、サイクルタイムは依然として遅く（約37秒）、分離作業が最も時間のかかるフェーズであるため、切断速度と制御の改善の余地が残っている。