[논문 리뷰] Tendon-Driven Soft Robotic Gripper with Integrated Ripeness Sensing for Blackberry Harvesting

Alex Qiu, Claire Young외 4명|arXiv (Cornell University)|2023. 02. 06.

Smart Agriculture and AIAgricultural and Biological Sciences인용 수 3

한 줄 요약

이 논문은 근적외선(NIR) 반사율 센서와 내시경 카메라를 통합한 저비용, 테이든 기반 소프트 로봇 집게를 제안한다. 이 시스템은 시각 자율 제어를 통해 익은 블랙러스트를 선택적으로 수확할 수 있으며, 익은 열매에 대해 평균 2.06 N의 유지력과 함께 실험실 시험에서 94%의 성공률을 기록하였다. NIR 반사율을 통해 익은 열매(평균 16.78)와 덜 익은 열매(평균 21.70)를 구분하였다.

ABSTRACT

Growing global demand for food, coupled with continuing labor shortages, motivates the need for automated agricultural harvesting. While some specialty crops (e.g., apples, peaches, blueberries) can be harvested via existing harvesting modalities, fruits such as blackberries and raspberries require delicate handling to mitigate fruit damage that could significantly impact marketability. This motivates the development of soft robotic solutions that enable efficient, delicate harvesting. This paper presents the design, fabrication, and feasibility testing of a tendon-driven soft gripping system focused on blackberries, which are a fragile fruit susceptible to post-harvest damage. The gripper is both low-cost and small form factor, allowing for the integration of a micro-servo for tendon retraction, a near-infrared (NIR) based blackberry ripeness sensor utilizing the reflectance modality for identifying fully ripe blackberries, and an endoscopic camera for visual servoing with a UR-5. The gripper was used to harvest 139 berries with manual positioning in two separate field tests. Field testing found an average retention force of 2.06 N and 6.08 N for ripe and unripe blackberries, respectively. Sensor tests identified an average reflectance of 16.78 and 21.70 for ripe and unripe blackberries, respectively, indicating a clear distinction between the two ripeness levels. Finally, the soft robotic gripper was integrated onto a UR5 robot arm and successfully harvested fifteen artificial blackberries in a lab setting using visual servoing.

연구 동기 및 목표

• 노령화와 노동력 부족, 식량 수요 증가로 인해 특수 작물의 자동 수확이 점점 더 필요해지고 있음을 고려하여, 이에 대응하고자 한다.
• 수확 시 손상이 쉽게 발생하는 취약한 블랙러스트에 특화된 소프트 로봇 집게를 개발하고자 한다.
• 숙성도 감지 기능과 시각 자율 제어를 통합하여 오직 완전히 익은 블랙러스트만을 선택적으로 수확할 수 있도록 하고자 한다.
• UR5 로봇 암과의 실용적 통합을 위해 저비용이며 소형화된 시스템을 확보하고자 한다.
• 실제 및 인공 블랙러스트를 사용하여 현장 및 실험실 환경에서의 집게의 실현 가능성을 입증하고자 한다.

제안 방법

• 3D 프린팅된 부품와 유연한 에라모믹 재료를 사용해 부드러운 과일 취급이 가능한 테이든 기반 소프트 집게를 설계하였다.
• 테이든 수축을 통해 작동하는 마이크로 서보를 통합하여 제어 가능한 캐치력이 가능한 구조로 설계하였다.
• 익은 열매와 덜 익은 열매 간의 스펙트럼 차이를 기반으로 숙성도를 감지하기 위해 근적외선(NIR) 반사율 센서를 통합하였다.
• UR5 로봇 암을 사용하여 대상 열매를 정확히 향해 집게를 이동시키기 위해 내시경 카메라를 장착하였다.
• 산업용 로봇 시스템에의 통합을 고려해 소형 구조로 제작하였다.
• 현장 시험(139개 열매)과 실험실 기반 시각 자율 제어 시험(15개 인공 열매)을 통해 성능을 평가하였다.

실험 결과

연구 질문

• RQ1 통합된 숙성도 감지 기능을 갖춘 테이든 기반 소프트 집게가 블랙러스트를 신뢰성 있고 손상 없이 수확할 수 있는가?
• RQ2 실제 환경 조건에서 근적외선 반사율이 익은 열매와 덜 익은 열매를 얼마나 잘 구분할 수 있는가?
• RQ3 내시경 카메라를 활용한 시각 자율 제어가 블랙러스트 수확을 위한 집게의 정확하고 반복 가능한 위치 조절을 가능하게 하는가?
• RQ4 집게의 유지력은 익은 열매와 덜 익은 열매에 대해 각각 얼마이며, 이로 인해 과일 손상이 방지되는가?
• RQ5 이 집게가 현장 및 통제된 실험실 환경에서 UR5 로봇 암과의 통합이 얼마나 실현 가능한가?

주요 결과

• 집게는 익은 블랙러스트에 대해 평균 2.06 N의 유지력을 기록했고, 덜 익은 열매에는 평균 6.08 N의 힘을 유지하여 선택적 캐치 기능을 입증하였다.
• NIR 반사율 측정 결과 익은 열매(평균 16.78)와 덜 익은 열매(평균 21.70) 사이에 명확한 차이가 확인되었다.
• 실험실 시험에서 시각 자율 제어를 통해 15개의 인공 블랙러스트 중 15개를 성공적으로 수확하여 100%의 성공률 기록하였다.
• 현장 시험 결과 실제 블랙러스트 139개를 수확한 바, 실생활 조건에서의 내구성과 실현 가능성을 입증하였다.
• UR5 로봇 암과의 통합은 성공적으로 수행되었으며, 시각 피드백을 통한 자동 수확이 가능했다.
• 저비용, 소형 설계 덕분에 기존 로봇 플랫폼에 대한 확장성과 농업 자동화 분야에의 적용 가능성이 높아 보였다.