[论文解读] Bimanual crop manipulation for human-inspired robotic harvesting

Sotiris Stavridis, Dimitrios Papageorgiou+2 more|arXiv (Cornell University)|Sep 13, 2022

Smart Agriculture and AI被引用 26

一句话总结

本文提出一种双臂机器人收获方法，其中一只臂通过摄像头和切割器揭开茎部，另一只臂操作已抓取的作物以创造切割条件，实验在配备 RealSense 摄像头的两臂 UR5e 设置上进行演示。

ABSTRACT

Most existing robotic harvesters utilize a unimanual approach; a single arm grasps the crop and detaches it, either via a detachment movement, or by cutting its stem with a specially designed gripper/cutter end-effector. However, such unimanual solutions cannot be applied for sensitive crops and cluttered environments like grapes and a vineyard where obstacles may occlude the stem and leave no space for the cutter's placement. In such cases, the solution would require a bimanual robot in order to visually unveil the stem and manipulate the grasped crop to create cutting affordances which is similar to the practice used by humans. In this work, a dual-arm coordinated motion control methodology for reaching a stem pre-cut state is proposed. The camera equipped arm with the cutter is reaching the stem, unveiling it as much as possible, while the second arm is moving the grasped crop towards the surrounding free-space to facilitate its stem cutting. Lab experimentation on a mock-up vine setup with a plastic grape cluster evaluates the proposed methodology, involving two UR5e robotic arms and a RealSense D415 camera.

研究动机与目标

• 在敏感且拥挤的环境中推动机器人收获，针对单臂系统难以应对的情况。
• 提出一种双臂协调框架，通过解开茎部并重新定位作物，使茎部达到预切状态。
• 开发在共享场景中协同摄像臂和抓取臂的速度控制双手控制律。
• 利用点云处理来识别茎部、障碍物和可用空间，以用于规划与控制。

提出的方法

• 将问题建模为一个双臂非对称任务：摄像臂（配备切割器）与抓取臂（抓取作物）。
• 定义摄像臂的目标：在茎部周围的关注区域内到达并居中，并揭开茎部以最大化可见性。
• 定义抓取臂的目标：通过将抓取的作物移动到自由空间中的一个点，拉伸葡萄以最大化茎部周围的空域。
• 使用组合扩展雅可比矩阵，将末端执行器速度映射到关节运动，形成速度控制律。
• 处理场景点云以识别茎部、障碍物和自由空间，并计算用于控制的关键位置（例如茎基、ROI 中心）。
• 提供对抓取臂运动的轻量化分解，将其沿茎基的方向及其正交子空间分解，以实现力-位移控制。

实验结果

研究问题

• RQ1 双臂系统如何协同工作以揭开茎部并为葡萄采摘创造切割条件？
• RQ2 哪种控制策略能够在同时操作抓取作物的同时实现对茎部的到达、居中和揭开？
• RQ3 在拥挤和遮挡存在时，场景点云处理如何支持鲁棒的双臂协调？
• RQ4 如何有效分解抓取末端执行器的运动，以在不损伤作物的前提下最大化茎部周围空间？
• RQ5 这种双臂方法能否在葡萄藤样环境中优于单臂收获策略？

主要发现

• 协同的双臂方法可以将带摄像头的末端执行器定位以揭开茎部，同时另一臂重新定位抓取的作物以创造切割条件。
• 使用扩展雅可比的速度控制框架实现两臂在双臂设置中的关节指令映射。
• 使用点云处理来识别茎部、障碍物和自由空间，以计算 ROI、茎基和相关轨迹。
• 该方法在一个带有两个 UR5e 臂和 RealSense D415 的实验室模型上进行了评估，展示了双臂揭开茎部和切割前期准备的可行性。