[論文レビュー] Bimanual crop manipulation for human-inspired robotic harvesting

Sotiris Stavridis, Dimitrios Papageorgiou+2 more|arXiv (Cornell University)|Sep 13, 2022

Smart Agriculture and AI被引用数 26

ひとこと要約

本論文は、片腕がカメラと切断器で茎を露出させ、もう片腕が把持された作物を操作して切断可能性を生み出す、二腕ロボット収穫アプローチを提案する。RealSenseカメラを用いた二腕UR5eセットアップで実証されている。

ABSTRACT

Most existing robotic harvesters utilize a unimanual approach; a single arm grasps the crop and detaches it, either via a detachment movement, or by cutting its stem with a specially designed gripper/cutter end-effector. However, such unimanual solutions cannot be applied for sensitive crops and cluttered environments like grapes and a vineyard where obstacles may occlude the stem and leave no space for the cutter's placement. In such cases, the solution would require a bimanual robot in order to visually unveil the stem and manipulate the grasped crop to create cutting affordances which is similar to the practice used by humans. In this work, a dual-arm coordinated motion control methodology for reaching a stem pre-cut state is proposed. The camera equipped arm with the cutter is reaching the stem, unveiling it as much as possible, while the second arm is moving the grasped crop towards the surrounding free-space to facilitate its stem cutting. Lab experimentation on a mock-up vine setup with a plastic grape cluster evaluates the proposed methodology, involving two UR5e robotic arms and a RealSense D415 camera.

研究の動機と目的

• 感度の高い、乱雑な環境で単一アームのシステムが機能しない場合のロボット収穫を促進する。
• 茎を un?elding して茎の前切状態に到達し、作物を再配置する双腕協調フレームワークを提案する。
• 共通のシーンでカメラアームと把持アームを協調させる速度制御の二腕制御則を開発する。
• 計画と制御のためにポイントクラウド処理を活用し、茎・障害物・自由空間を特定する。
• 把持アーム運動を茎基準の方向とそれに直交する部分空間への分解を軽量に行い、力-位置制御を実装する。

提案手法

• カメラアーム（切断器付き）と把持アーム（作物付き）を持つカメラアームと把持アームの非対称タスクとして問題をモデル化する。
• カメラアームの目的を定義：茎の周囲の関心領域内で到達と中心化を行い、茎を露出させて可視性を最大化する。
• 把持アームの目的を定義：把持した作物を自由空間の点へ向かって移動させることで、茎の周囲の自由領域を最大化する。
• 末端機の速度を関節運動へ写像する拡張ジョイントを用いた速度制御法則を定式化する。
• シーンのポイントクラウドを処理して茎・障害物・自由空間を識別し、制御のための重要位置（例：茎の基部、ROIの中心）を計算する。
• 把持アームの運動を茎の基準方向と直交するサブスペースに沿う方向に分解し、力-位置制御を実装する軽量な分解を提供する。

実験結果

リサーチクエスチョン

• RQ1 二腕システムはどのように協調して茎を露出させ、ブドウ収穫のための切断可能性を作り出すことができるか？
• RQ2 作物を操作しつつ、茎へ同時に到達・センタリング・露出を実現する制御戦略は何か？
• RQ3 乱雑さや遮蔽がある状況で、場のポイントクラウド処理は頑健な二腕協調をどのように支援できるか？
• RQ4 作物を損なうことなく茎スペースを最大化するための把持エンドエフェクタの運動の効果的な分解は何か？
• RQ5 この二腕アプローチはブドウのような環境で単腕収穫戦略を上回ることができるか？

主な発見

• 二腕を協調させたアプローチは、カメラを装備したエンドエフェクタを茎を露出させる位置に配置し、別のアームは把持した作物を再配置して切断可能性を生み出す。
• 拡張ヤコビ行列を用いる速度制御フレームワークが、二腕構成で両腕のジョイント指令への写像を可能にする。
• ポイントクラウド処理を用いて茎・障害物・自由空間を識別し、ROI、茎基部、関連軌道を計算する。
• 本手法は、二つのUR5eアームとRealSense D415を用いたラボモックアップで評価され、二腕による茎露出と切断準備の実現性を示した。