[논문 리뷰] A Sweet Pepper Harvesting Robot for Protected Cropping Environments

Chris Lehnert, Chris McCool외 2명|arXiv (Cornell University)|2018. 10. 29.

Smart Agriculture and AI참고 문헌 40인용 수 9

한 줄 요약

이 논문은 보호 재배 환경에서 편초 편초를 위한 로봇 수확기 Harvey를 제안하며, 새로운 MiniInception 딥러닝 모델을 통한 편초 분할과 3차원 후처리 필터링을 통합하여 절단 위치를 정확하게 파악함으로써 76.5%의 성공률을 달성한다. 시스템은 진공 그립과 진동 블레이드를 갖춘 다중 모드 종단기구를 사용하며, 별도의 기구적 메커니즘을 통해 그립 동작과 절단 동작을 독립적으로 제어함으로써 이전 연구 및 최첨단 성능을 크게 향상시켰다.

ABSTRACT

Using robots to harvest sweet peppers in protected cropping environments has remained unsolved despite considerable effort by the research community over several decades. In this paper, we present the robotic harvester, Harvey, designed for sweet peppers in protected cropping environments that achieved a 76.5% success rate (within a modified scenario) which improves upon our prior work which achieved 58% and related sweet pepper harvesting work which achieved 33\%. This improvement was primarily achieved through the introduction of a novel peduncle segmentation system using an efficient deep convolutional neural network, in conjunction with 3D post-filtering to detect the critical cutting location. We benchmark the peduncle segmentation against prior art demonstrating a considerable improvement in performance with an F_1 score of 0.564 compared to 0.302. The robotic harvester uses a perception pipeline to detect a target sweet pepper and an appropriate grasp and cutting pose used to determine the trajectory of a multi-modal harvesting tool to grasp the sweet pepper and cut it from the plant. A novel decoupling mechanism enables the gripping and cutting operations to be performed independently. We perform an in-depth analysis of the full robotic harvesting system to highlight bottlenecks and failure points that future work could address.

연구 동기 및 목표

• 노동력 부족, 입력 비용 상승, 기후 변동성 등의 원인으로 지속적으로 발생하는 정원작물 수확 분야의 로봇 수확 과제를 해결하기 위해.
• 보호 재배 시스템에서 편초 수확의 주요 장애 요소인 인식 및 조작 기술의 한계를 극복하기 위해.
• 이전 연구에서 달성한 58%와 관련 연구에서 보고한 33%를 초월하는 수확 성공률 향상을 위해.
• 고정밀한 편초 감지와 최적의 그립 및 절단 자세 식별을 가능하게 하는 인식에서 행동으로 이어지는 통합 파이프라인 개발을 위해.
• 복잡한 시각적 및 물리적 가림을 동반하는 실제 보호 재배 환경에서의 실용적 구현을 가능하게 하기 위해.

제안 방법

• 실시간 편초 분할을 위해 경량 딥 컨volution 신경망(기존의 MiniInception)과 RGB-D 센싱을 조합한 인식 파이프라인을 활용한다.
• 편초의 핵심 절단 위치 추정 정확도를 향상시키기 위해 3차원 후처리 필터링을 적용하여 분할 결과를 정밀하게 보정한다.
• 진공 그립을 통한 그립 동작과 진동 블레이드를 통한 절단 동작을 수행하는 다중 모드 종단기구를 도입하며, 별도의 기구적 메커니즘을 통해 그립과 절단 동작을 독립적으로 제어한다.
• 감지된 그립 및 절단 자세를 기반으로 궤적 계획을 수립하여 로봇 암의 조율된 운동을 이끌어낸다.
• 그립과 절단 동작을 분리함으로써 제어성과 신뢰성을 향상시키기 위해 모듈식 시스템 아키텍처를 구현한다.
• 실제 보호 재배 환경을 개조한 장소에서 실외 테스트를 수행하여 실생활 조건에서의 성능을 평가한다.

실험 결과

연구 질문

• RQ1 경량 딥러닝 모델인 MiniInception이 복잡하고 가림이 있는 농업 환경에서 높은 정확도의 편초 분할을 달성할 수 있는가?
• RQ2 2D 분할만으로는 비교했을 때, 3차원 후처리 필터링이 절단 위치 추정 정밀도를 얼마나 향상시키는가?
• RQ3 그립과 절단 동작을 분리함으로써 수확의 신뢰성과 성공률는 얼마나 향상되는가?
• RQ4 로봇 편초 수확에서 주요 고장 원인은 무엇이며, 인식 및 제어를 어떻게 개선하여 이를 완화할 수 있는가?
• RQ5 이와 유사한 환경 조건에서 다른 고부가가치 정원작물로의 일반화가 가능한가?

주요 결과

• Harvey 로봇은 개조된 실제 보호 재배 환경에서 76.5%의 수확 성공률를 기록하여 이전 시스템의 58%와 최첨단 연구의 33%를 크게 상회한다.
• MiniInception 기반의 편초 분할은 F1 스코어 0.564를 달성하여 이전 방법의 F1 스코어 0.302에 비해 상당한 향상이 있었다.
• 3차원 후처리 필터링 통합으로 부분적인 가림이나 변동하는 조명 조건에서도 절단 위치 추정 오류가 감소하였다.
• 분리된 그립 및 절단 메커니즘 덕분에 더 안정적인 분리가 가능해져 부분 절단과 과일 이격 현상이 감소하였다.
• 저대비 배경과 잎에 의한 가림 등 도전적인 시각 조건에서도 높은 신뢰성을 보였다.
• 높은 성공률에도 불구하고 사이클 시간은 여전히 느리며 약 37초 수준이며, 특히 분리 단계가 가장 오래 걸려 절단 속도 및 제어 향상 여지가 남아 있다.