[论文解读] A Sweet Pepper Harvesting Robot for Protected Cropping Environments

Chris Lehnert, Chris McCool+2 more|arXiv (Cornell University)|Oct 29, 2018

Smart Agriculture and AI参考文献 40被引用 9

一句话总结

该论文提出Harvey，一种用于保护性栽培环境下的甜椒采摘机器人，通过集成一种新型的MiniInception深度学习模型进行果柄分割，并结合3D后处理过滤，准确确定切割点，实现了76.5%的成功率。该系统采用多模式末端执行器，结合真空抓取与振动刀片，通过解耦机构实现抓取与切割动作的独立控制，显著优于以往工作和当前最先进水平的表现。

ABSTRACT

Using robots to harvest sweet peppers in protected cropping environments has remained unsolved despite considerable effort by the research community over several decades. In this paper, we present the robotic harvester, Harvey, designed for sweet peppers in protected cropping environments that achieved a 76.5% success rate (within a modified scenario) which improves upon our prior work which achieved 58% and related sweet pepper harvesting work which achieved 33\%. This improvement was primarily achieved through the introduction of a novel peduncle segmentation system using an efficient deep convolutional neural network, in conjunction with 3D post-filtering to detect the critical cutting location. We benchmark the peduncle segmentation against prior art demonstrating a considerable improvement in performance with an F_1 score of 0.564 compared to 0.302. The robotic harvester uses a perception pipeline to detect a target sweet pepper and an appropriate grasp and cutting pose used to determine the trajectory of a multi-modal harvesting tool to grasp the sweet pepper and cut it from the plant. A novel decoupling mechanism enables the gripping and cutting operations to be performed independently. We perform an in-depth analysis of the full robotic harvesting system to highlight bottlenecks and failure points that future work could address.

研究动机与目标

• 应对园艺领域长期存在的机器人采摘挑战，包括劳动力短缺、投入成本上升以及气候波动的影响。
• 突破保护性栽培系统中甜椒采摘在感知与操作方面的关键瓶颈。
• 将采摘成功率提升至超过以往工作所达到的58%以及相关研究报道的33%。
• 开发一个从感知到动作的稳健流程，能够准确检测甜椒，并识别最优抓取与切割姿态。
• 实现在复杂视觉与物理遮挡条件下真实保护性栽培环境中的实际部署。

提出的方法

• 采用结合RGB-D传感与轻量级深度卷积神经网络（MiniInception）的感知流程，实现实时果柄分割。
• 应用3D后处理过滤，优化分割结果，精确估计果柄上关键切割位置。
• 集成多模式末端执行器，包含用于抓取的真空夹持器与用于切割的振动刀片，通过新型解耦机构驱动。
• 基于检测到的抓取与切割姿态进行轨迹规划，引导机械臂实现协调运动。
• 采用模块化系统架构，分离抓取与切割动作，提升控制精度与系统可靠性。
• 在经改造的保护性栽培环境中开展真实场景测试，评估系统在实际条件下的性能表现。

实验结果

研究问题

• RQ1 像MiniInception这样的轻量级深度学习模型是否能在复杂且存在遮挡的农业场景中实现高精度的果柄分割？
• RQ2 与仅使用2D分割相比，3D后处理过滤在提升切割点检测精度方面效果如何？
• RQ3 将抓取与切割动作解耦在多大程度上提升了采摘的可靠性与成功率？
• RQ4 机器人甜椒采摘中的主要故障模式是什么？如何通过改进感知与控制来减轻这些故障？
• RQ5 该系统是否能在类似环境条件下推广至其他高价值园艺作物？

主要发现

• Harvey机器人在经改造的真实保护性栽培环境中实现了76.5%的采摘成功率，显著优于先前系统的58%以及最先进工作的33%。
• 基于MiniInception的果柄分割方法取得了0.564的F1分数，远超先前方法的0.302，实现显著提升。
• 3D后处理过滤的引入降低了切割位置估计的误差，尤其在部分遮挡与光照变化条件下表现更优。
• 解耦的抓取与切割机构实现了更可靠的果实脱离，减少了部分切割与果实滑落现象。
• 系统在低对比度背景与叶片遮挡等复杂视觉条件下表现出良好的鲁棒性。
• 尽管成功率较高，但整体周期时间仍偏慢（约37秒），其中脱离阶段耗时最长，表明在切割速度与控制方面仍有优化空间。