[논문 리뷰] An autonomous robot for pruning modern, planar fruit trees

Alexander You, Nidhi Parayil외 8명|arXiv (Cornell University)|2022. 06. 14.

Tree Root and Stability Studies인용 수 12

한 줄 요약

이 논문은 실제 농장 환경에서 현대적인 평면형 당도체 나무를 위한 첫 번째 종단 간 자율 로봇 시스템을 제안한다. RGB-D 시각, Mask R-CNN 기반의 가지치기 지점 탐지, 그리고 닫힌 루프 혼합 시각/상호작용 제어기를 통합하여 현장 시험에서 58%의 절단 성공률을 달성하였으며, 향후 로봇 가지치기 시스템을 위한 실현 가능한 기반을 제시한다.

ABSTRACT

Dormant pruning of fruit trees is an important task for maintaining tree health and ensuring high-quality fruit. Due to decreasing labor availability, pruning is a prime candidate for robotic automation. However, pruning also represents a uniquely difficult problem for robots, requiring robust systems for perception, pruning point determination, and manipulation that must operate under variable lighting conditions and in complex, highly unstructured environments. In this paper, we introduce a system for pruning sweet cherry trees (in a planar tree architecture called an upright fruiting offshoot configuration) that integrates various subsystems from our previous work on perception and manipulation. The resulting system is capable of operating completely autonomously and requires minimal control of the environment. We validate the performance of our system through field trials in a sweet cherry orchard, ultimately achieving a cutting success rate of 58%. Though not fully robust and requiring improvements in throughput, our system is the first to operate on fruit trees and represents a useful base platform to be improved in the future.

연구 동기 및 목표

• 고가치 과일수의 잠자기 기간 가지치기를 자동화하여 농장에서의 노동력 부족 문제를 해결한다.
• 변동하는 조도 조건이 있는 비구조적 실외 환경에서 작동하는 가지치기 로봇의 인식 및 조작 과제를 극복한다.
• 환경 제어를 최소화하고 실제 농장 조건에서 작동하는 완전한 자율 시스템을 개발한다.
• 인식, 가지치기 지점 탐지, 정밀한 조작을 하나의 종단 간 로봇 파이프라인으로 통합한다.
• 실제 당도체 나무에서 현장 조건에서 자율 가지치기의 가능성을 입증한다.

제안 방법

• 모바일 매니퓰레이터에 장착된 눈-핸드 방식의 RGB-D 센서를 사용해 수목 구조의 다중 시점 영상을 촬영한다.
• 제어된 조명이 필요 없이도 복잡한 배경에서 가지를 분리하기 위해 새로운 전경 분할 방법을 적용한다.
• 학습된 시각적 특징을 기반으로 분할된 가지에서 Mask R-CNN을 활용해 가지치기 지점을 탐지한다.
• 기하학적 캘리브레이션 및 운동학 모델을 사용해 2차원 탐지 결과를 3차원 공간으로 투영한다.
• 시각 피드백과 힘-토크 센서를 융합한 닫힌 루프 혼합 시각/상호작용 제어기를 구현하여 정확하고 내구성 있는 절단을 달성한다.
• 15초 타임아웃을 갖춘 이행 제어를 사용해 종단 기구의 접근을 관리하고 접촉 시 안전성을 확보한다.

실험 결과

연구 질문

• RQ1 환경 제어 없이도 완전히 자율적인 로봇 시스템이 실제 농장 조건에서 가지를 탐지하고 가지치기할 수 있는가?
• RQ2 비구조적 실외 환경에서 Mask R-CNN 기반의 시각 기반 가지치기 지점 탐지 시스템의 효과성은 어떠한가?
• RQ3 닫힌 루프 시각 피드백과 힘-토크 피드백이 절단 정확도와 내구성에 미치는 영향은 무엇인가?
• RQ4 로봇 가지치기의 사이클 시간과 성공률에서 주요 성능 저하 요인은 무엇인가?
• RQ5 매니퓰레이터의 운동학적 특성과 로봇 위치 조절이 밀집된 농장 레이아웃에서 충돌 회피 및 도달 가능성에 미치는 영향은 어떠한가?

주요 결과

• 현장 시험에서 시스템은 58%의 절단 성공률을 달성하여 총 38개의 탐지된 가지 중 22개를 성공적으로 가지치기했다.
• 절단 시도 평균 시간은 35.1초였으며, 대부분의 시간은 운동 제어에 소요되었으며(스캔 115초, 암 이동 50초).
• 가장 느린 운동 구성 요소는 선형 축(20cm 이동에 23초)과 웨이포인트 간 카메라 이동이었으며, 안전성 및 기계적 설계로 인해 제한되었다.
• 불안정한 힘-토크 추정으로 인해 이행 제어기가 자주 타임아웃이 발생하여, 전환 및 종료 기준을 개선할 필요가 있음을 시사한다.
• UR5e 매니퓰레이터의 리볼루션 조인트는 트렐리스에 너무 가까이 있거나 목표에서 너무 멀리 떨어져 있을 경우 충돌 위험이 높아, 현재 운동학 설계의 한계를 드러낸다.
• 스캔 웨이포인트로의 재진입과 같은 여유 있는 운동 패tern이 상당한 시간 오버헤드를 유발하여, 경로 계획 최적화의 잠재력이 있음을 시사한다.