[論文レビュー] Geometry-Based Grasping of Vine Tomatoes

Theo de Haan, Padmaja Kulkarni+1 more|arXiv (Cornell University)|Mar 1, 2021

Smart Agriculture and AI参考文献 17被引用数 4

ひとこと要約

本稿では、RGB-Dビジョンを用いて房の幾何構造を検出するとともに、ペディンクルを標的とすることで損傷を回避するキャージングに基づくロボットハンドグラブ戦略を用いた、ビニールトマトの幾何学的アプローチによるハンドリング手法を提案する。低コストのマニピュレータを用いた実験で83–92%の成功を達成し、力センサーや複雑なオブジェクトモデルを必要としない堅牢な性能を示している。

ABSTRACT

We propose a geometry-based grasping method for vine tomatoes. It relies on a computer-vision pipeline to identify the required geometric features of the tomatoes and of the truss stem. The grasping method then uses a geometric model of the robotic hand and the truss to determine a suitable grasping location on the stem. This approach allows for grasping tomato trusses without requiring delicate contact sensors or complex mechanistic models and under minimal risk of damaging the tomatoes. Lab experiments were conducted to validate the proposed methods, using an RGB-D camera and a low-cost robotic manipulator. The success rate was 83% to 92%, depending on the type of truss.

研究の動機と目的

• 壊れやすく変形しやすいビニールトマトを損傷なく自動収穫する課題に取り組む。
• ロボットハンドリングにおける力/タクトイルセンサーや複雑な力学的モデルの制限を克服する。
• 安全で損傷のないハンドリングを実現するため、トマトの房の主要な幾何的特徴を視覚的に検出する手法を開発する。
• ペディンクルにキャージングベースのハンドリング戦略を適用し、機械的応力を最小限に抑え、正確な力フィードバックに依存する必要を減らす。
• 低コストのハードウェアと本物のトマトモデルを用いて、実世界の房の幾何構造を対象とした手法の妥当性を検証する。

提案手法

• RGB-Dカメラを用いて、ビニールトマトの房の3次元点群を取得し、幾何的特徴を抽出する。
• グラフベースのペディンクル検出アルゴリズムを実装し、房に沿った主茎および接合部を特定する。
• コンピュータビジョンパイプラインを適用して、トマト、カリックス、ペディキュール、およびペディンクルを検出し、重心と茎の幾何構造を推定する。
• ロボットハンドと房の幾何モデルを構築し、キャージング制約の検証と安全なハンドリングポーズの決定を行う。
• 位置ベースの制御を用いて、上側からペディンクルに接近し、トマトに接触しないようにグリッパーで茎を囲む。
• 2次元画像解析に基づき、ペディンクルの周囲に十分なクリアランスがある場所を優先するが、奥行きデータはオクルージョンを回避するために不可欠である。

実験結果

リサーチクエスチョン

• RQ1 視覚ベースのシステムは、ハンドリングのためのペディンクルや接合部を含む、ビニールトマトの房の主要な幾何的特徴を信頼性を持って検出できるか？
• RQ2 ペディンクルにキャージングベースのハンドリング戦略を適用することで、力フィードバックや詳細なオブジェクトモデルを必要とせずに高い成功率を達成できるか？
• RQ3 実世界の制約（オクルージョン、茎の近接）を考慮した場合、ハンドリング手法の成功率はさまざまな房の形状にどのように変化するか？
• RQ4 計画と制御の誤差は、特に重心がペディキュールに近い場合、ハンドリング性能にどの程度影響を与えるか？
• RQ5 今後の実装において、重なったり接触している房や本物のトマトを処理できるようにこの手法を拡張できるか？

主な発見

• コンピュータビジョンパイプラインは、99.7%のトマトを正しく検出し、誤検出なしに重心を5.02 ± 3.26 mmの誤差で推定した。
• グラフベースのペディンクル検出法は、86%の茎の接合部を正しく同定したが、34%の誤検出を報告した。
• シンプルなプラスチック房モデルでは、ピックアンドプレイスタスクで92%の成功率を達成した。
• 本物の茎を有する現実的な房モデルでは、83%の成功率を示し、失敗の主な原因は制御および計画の誤差であった。
• 本手法は、房の形状やサイズの変動に対して堅牢であり、再トレーニングなしに多様な幾何構造を処理できた。
• 失敗の多くはオクルージョンやペディンクル周囲のクリアランス不足に起因しており、障害物を回避するための3次元点群解析の重要性が浮き彫りになった。