[論文レビュー] An autonomous robot for pruning modern, planar fruit trees

Alexander You, Nidhi Parayil+8 more|arXiv (Cornell University)|Jun 14, 2022

Tree Root and Stability Studies被引用数 12

ひとこと要約

本論文は、実際の畝間で近代的で平面的なサクランボの木を pruning する、最初のエンド・ツー・エンドの自律ロボットシステムを提示する。RGB-D 視覚、マスク R-CNN を用いた pruning ポイント検出、および閉ループハイブリッド視覚/インタラクション制御を統合し、現地試験で 58% の切断成功率を達成した。これは将来的なロボット pruning システムの実現可能性を示す基盤である。

ABSTRACT

Dormant pruning of fruit trees is an important task for maintaining tree health and ensuring high-quality fruit. Due to decreasing labor availability, pruning is a prime candidate for robotic automation. However, pruning also represents a uniquely difficult problem for robots, requiring robust systems for perception, pruning point determination, and manipulation that must operate under variable lighting conditions and in complex, highly unstructured environments. In this paper, we introduce a system for pruning sweet cherry trees (in a planar tree architecture called an upright fruiting offshoot configuration) that integrates various subsystems from our previous work on perception and manipulation. The resulting system is capable of operating completely autonomously and requires minimal control of the environment. We validate the performance of our system through field trials in a sweet cherry orchard, ultimately achieving a cutting success rate of 58%. Though not fully robust and requiring improvements in throughput, our system is the first to operate on fruit trees and represents a useful base platform to be improved in the future.

研究の動機と目的

• 高付加価値の果樹の休眠期 pruning を自動化することで、畝間における人手不足の問題に対処すること。
• 変動する照明条件を伴う非構造的で屋外の環境で動作する pruning ロボットのための、認知と操作の課題を克服すること。
• 環境制御を最小限に抑え、実際の畝間環境で動作する完全な自律システムを開発すること。
• 認知、pruning ポイント検出、正確な操作を統合した、果樹 pruning のためのワンストップロボットパイプラインを構築すること。
• 実畝環境における実際のサクランボの木に対して自律 pruning の実現可能性を実証すること。

提案手法

• モバイルマニピュレータに取り付けたアイ・イン・ハンド RGB-D センサを用いて、木の構造のマルチビュー画像を取得する。
• 制御された照明を必要とせず、複雑な背景から枝を分離するための新規な前景セグメンテーション手法を適用する。
• 学習された視覚特徴に基づいて、セグメンテーション済みの枝上での pruning ポイントをマスク R-CNN を用いて検出する。
• 幾何的キャリブレーションと運動学モデルを用いて、2次元の検出結果を3次元空間に投影する。
• 視覚フィードバックとトルク・フォースセンシングを組み合わせた、閉ループハイブリッド視覚/インタラクション制御を実装し、正確で頑健な切断を実現する。
• アドミタンス制御を 15 秒のタイムアウトとともに使用し、エンドエフェクタのアプローチを管理し、接触時の安全性を確保する。

実験結果

リサーチクエスチョン

• RQ1 環境制御なしに、完全な自律ロボットシステムが現実の畝間環境で枝を検出し、切断できるか？
• RQ2 マスク R-CNN を用いた視覚ベースの pruning ポイント検出システムは、非構造的で屋外の環境でどの程度有効か？
• RQ3 閉ループ視覚およびトルク・フォースフィードバックは、切断の正確性と頑健性にどのような影響を与えるか？
• RQ4 ロボット pruning のサイクル時間と成功率における主な性能ボトルネックは何か？
• RQ5 マニピュレータの運動学的特性とロボットの位置決めが、密集した畝間レイアウトにおける衝突回避と到達可能性に与える影響は何か？

主な発見

• 本システムは、現地試験で 58% の切断成功率を達成し、38 本の検出された枝のうち 22 本を正常に pruning した。
• 1 回の切断試行の平均時間は 35.1 秒であり、その大部分はモーション制御に費やされた（スキャンに 115 秒、アーム移動に 50 秒）。
• 最も遅いモーション部品は、直線軸（20 cm に 23 秒）とウェイポイント間のカメラ移動であり、安全性と機械的設計の制限によって制限されていた。
• アドミタンス制御は、不安定なトルク・フォース推定のため頻繁にタイムアウトしたため、スイッチングおよび終了基準の改善が求められる。
• UR5e マニピュレータのリボルートジョイントは、トレリスに近すぎると、またはターゲットから離れすぎると衝突リスクを引き起こし、現在の運動学的設計の限界を示している。
• スキャンウェイポイントに戻るなどの冗長な運動パターンが、顕著な時間的オーバーヘッドを生じており、パスプランニングの最適化の余地があることが示唆された。