[논문 리뷰] Bimanual crop manipulation for human-inspired robotic harvesting

Sotiris Stavridis, Dimitrios Papageorgiou외 2명|arXiv (Cornell University)|2022. 09. 13.

Smart Agriculture and AI인용 수 26

한 줄 요약

논문은 한 팔이 카메라와 커터로 줄기를 노출시키고 다른 팔이 잡은 작물을 조작하여 절단 가능성을 생성하는 양팔 로봇 수확 접근법을 제시하며, RealSense 카메라를 사용한 두 팔 UR5e 구성에서 시연됐다.

ABSTRACT

Most existing robotic harvesters utilize a unimanual approach; a single arm grasps the crop and detaches it, either via a detachment movement, or by cutting its stem with a specially designed gripper/cutter end-effector. However, such unimanual solutions cannot be applied for sensitive crops and cluttered environments like grapes and a vineyard where obstacles may occlude the stem and leave no space for the cutter's placement. In such cases, the solution would require a bimanual robot in order to visually unveil the stem and manipulate the grasped crop to create cutting affordances which is similar to the practice used by humans. In this work, a dual-arm coordinated motion control methodology for reaching a stem pre-cut state is proposed. The camera equipped arm with the cutter is reaching the stem, unveiling it as much as possible, while the second arm is moving the grasped crop towards the surrounding free-space to facilitate its stem cutting. Lab experimentation on a mock-up vine setup with a plastic grape cluster evaluates the proposed methodology, involving two UR5e robotic arms and a RealSense D415 camera.

연구 동기 및 목표

• 민감하고 난잡한 환경에서 단일 팔 시스템이 실패하는 상황에서 로봇 수확의 필요성을 제시한다.
• 줄기를 노출시키고 작물을 재배치하여 절단 전 상태에 도달하기 위한 이중 팔 협력 프레임워크를 제안한다.
• 공유된 장면에서 카메라 팔과 그립 팔을 조정하는 속도 제어식 양팔 제어 법칙을 개발한다.
• 계획 및 제어를 위해 줄기, 장애물 및 자유 공간을 식별하기 위해 포인트 클라우드 처리를 활용한다.

제안 방법

• 커터가 장착된 카메라 팔과 작물이 있는 그립 팔로 이루어진 비대칭 양팔 작업으로 문제를 모델링한다.
• 줄기 주변의 관심 영역 내에 도달하고 중심을 맞추며 줄기를 노출시켜 가시성을 최대화하는 카메라 팔의 목적을 정의한다.
• 포획된 작물을 자유 공간의 점으로 이동시켜 줄기 주변의 자유 공간을 최대화하기 위해 그립 팔의 목적을 정의한다.
• 말단효과기의 속도를 관절 모션으로 매핑하기 위한 확장된 야코비 행렬을 이용한 속도 제어 법칙을 구성한다.
• 장면 포인트 클라우드를 처리하여 줄기, 장애물, 자유 공간을 식별하고 제어를 위한 중요한 위치(예: 줄기 기저, ROI 중心)를 계산한다.
• 힘-위치 제어를 구현하기 위해 그립 팔의 움직임을 줄기 기준 방향과 그 직교 부분공간으로 경량 분해한다.

실험 결과

연구 질문

• RQ1 양팔 시스템이 줄기를 노출시키고 포도 수확을 위한 절단 가능성을 창출하기 위해 어떻게 조정될 수 있는가?
• RQ2 그립 중인 작물을 조작하면서 줄기에 대해 도달, 중앙화 및 노출을 동시에 수행하는 제어 전략은 무엇인가?
• RQ3 장면 포인트 클라우드 처리가 잡음과 가림 현상이 있는 환경에서 견고한 양팔 협조를 어떻게 지원할 수 있는가?
• RQ4 작물을 손상시키지 않으면서 줄기 공간을 최대화하기 위한 그립 엔드 이펙터 모션의 효과적인 분해는 무엇인가?
• RQ5 이 양팔 접근 방식이 포도나무와 같은 환경에서 단일팔 수확 전략보다 성능이 우수한가?

주요 결과

• 양팔 조정 방식은 하나의 팔에 카메라가 장착된 말단 효과기를 줄기를 노출시키고, 다른 팔이 잡힌 작물을 재배치하여 절단 가능성을 생성하도록 위치시킬 수 있다.
• 확장된 야코비 행렬을 이용한 속도 제어 프레임워크는 양팔이 있는 양팔 설정에서 두 팔의 관절 명령으로의 매핑을 가능하게 한다.
• 포인트 클라우드 처리를 사용하여 줄기, 장애물 및 자유 공간을 식별하고 ROI, 줄기 기저 및 관련 궤적을 계산한다.
• 두 대의 UR5e 암과 RealSense D415를 사용한 실험실 모형에서 방법을 평가하여 양팔 줄기 노출 및 절단 준비의 타당성을 입증했다.