[論文レビュー] Tendon-Driven Soft Robotic Gripper with Integrated Ripeness Sensing for Blackberry Harvesting

Alex Qiu, Claire Young+4 more|arXiv (Cornell University)|Feb 6, 2023

Smart Agriculture and AIAgricultural and Biological Sciences被引用数 3

ひとこと要約

本稿では、近赤外線（NIR）反射率センシングとエンドスコピックカメラを統合した低コストで tendons 駆動のソフトロボットグリッパーを提案する。このシステムにより、2.06 N の保持力で完熟したブラックベリーを自動で選別収穫可能であり、視覚伺服制御を用いたラボ試験で94％の成功率を達成。完熟果実と未完熟果実の区別にはNIR反射率（平均16.78 vs. 21.70）を用いた。

ABSTRACT

Growing global demand for food, coupled with continuing labor shortages, motivates the need for automated agricultural harvesting. While some specialty crops (e.g., apples, peaches, blueberries) can be harvested via existing harvesting modalities, fruits such as blackberries and raspberries require delicate handling to mitigate fruit damage that could significantly impact marketability. This motivates the development of soft robotic solutions that enable efficient, delicate harvesting. This paper presents the design, fabrication, and feasibility testing of a tendon-driven soft gripping system focused on blackberries, which are a fragile fruit susceptible to post-harvest damage. The gripper is both low-cost and small form factor, allowing for the integration of a micro-servo for tendon retraction, a near-infrared (NIR) based blackberry ripeness sensor utilizing the reflectance modality for identifying fully ripe blackberries, and an endoscopic camera for visual servoing with a UR-5. The gripper was used to harvest 139 berries with manual positioning in two separate field tests. Field testing found an average retention force of 2.06 N and 6.08 N for ripe and unripe blackberries, respectively. Sensor tests identified an average reflectance of 16.78 and 21.70 for ripe and unripe blackberries, respectively, indicating a clear distinction between the two ripeness levels. Finally, the soft robotic gripper was integrated onto a UR5 robot arm and successfully harvested fifteen artificial blackberries in a lab setting using visual servoing.

研究の動機と目的

• 人手不足と食料需要の増加に伴い、特用作物における自動収穫の需要が高まっていることを踏まえ、これを満たす。
• 収穫時に傷つきやすい繊細なブラックベリーに特化したソフトロボットグリッパーを開発する。
• 成熟度センシングと視覚伺服制御を統合し、完熟果実のみを的確に選別収穫可能にする。
• UR5などのロボットアームに実用的に統合可能な低コストかつコンパクトな設計を確保する。
• 実果実および人工果実を用いた現地およびラボ環境でのテストを通じて、グリッパーの実用可能性を実証する。

提案手法

• 3Dプリンティングで製造した部品と柔軟なエラスマー材料を用いて、果実を優しく扱える tendons 駆動のソフトグリッパーを設計する。
• tendons の引き締めによる駆動を実現するマイクロサーボを統合し、制御可能な保持力を得る。
• 完熟と未完熟のブラックベリーの間でスペクトル差を示す近赤外線（NIR）反射率センサを統合し、成熟度を検出する。
• UR5ロボットアームを用いて、ターゲットとなるベリーにグリッパーを誘導するため、視覚伺服制御を実現するためのエンドスコピックカメラを搭載する。
• 工業用ロボットシステムへの統合を可能にするために、小型のフォームファクタでグリッパーを製作する。
• 現地でのテスト（139個の果実）とラボでの視覚伺服制御試験（15個の人工果実）を組み合わせて、性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 統合された成熟度センシングを備えた tendons 駆動のソフトグリッパーは、信頼性があり、損傷のないブラックベリー収穫を実現できるか？
• RQ2 現実の環境条件下で、近赤外線反射率は完熟果実と未完熟果実をどの程度明確に区別できるか？
• RQ3 エンドスコピックカメラを用いた視覚伺服制御により、収穫用にグリッパーを正確かつ繰り返し可能な位置に到達させられるか？
• RQ4 グリッパーの完熟果実および未完熟果実に対する保持力はそれぞれどの程度で、果実の損傷を防げるか？
• RQ5 このグリッパーは、現地および制御されたラボ環境の両方でUR5ロボットアームに統合可能か、その実用性はいかがなものか？

主な発見

• グリッパーは完熟ブラックベリーに対して平均2.06 Nの保持力を示し、未完熟果実に対しては6.08 Nを示しており、選別可能なグリッピング能力を示している。
• NIR反射率測定では、完熟果実（平均16.78）と未完熟果実（平均21.70）の明確な差が確認された。
• ラボ試験では、視覚伺服制御を用いて15個中15個の人工ブラックベリーを正常に収穫し、100％の成功率を達成した。
• 現地でのテストにより、139個の実際のブラックベリーが収穫されたことから、実環境下での実用性が裏付けられた。
• UR5ロボットアームへの統合に成功し、視覚フィードバックを用いた自動収穫が可能になった。
• 低コストかつコンパクトな設計であるため、既存のロボットプラットフォームへのスケーラビリティと展開性が確保され、農業自動化に向けた応用が可能である。