[论文解读] Geometry-Based Grasping of Vine Tomatoes

Theo de Haan, Padmaja Kulkarni+1 more|arXiv (Cornell University)|Mar 1, 2021

Smart Agriculture and AI参考文献 17被引用 4

一句话总结

该论文提出一种基于几何的番茄采摘方法，利用RGB-D视觉检测果穗几何结构，并采用基于围捕的机器人抓取策略，通过瞄准果柄来避免损伤。该方法在使用低成本机械臂的实验室实验中实现了83–92%的成功率，展现出无需力传感器或复杂物体模型的鲁棒性。

ABSTRACT

We propose a geometry-based grasping method for vine tomatoes. It relies on a computer-vision pipeline to identify the required geometric features of the tomatoes and of the truss stem. The grasping method then uses a geometric model of the robotic hand and the truss to determine a suitable grasping location on the stem. This approach allows for grasping tomato trusses without requiring delicate contact sensors or complex mechanistic models and under minimal risk of damaging the tomatoes. Lab experiments were conducted to validate the proposed methods, using an RGB-D camera and a low-cost robotic manipulator. The success rate was 83% to 92%, depending on the type of truss.

研究动机与目标

• 解决对易损、可变形的藤本番茄实现自动化采摘且不造成损伤的挑战。
• 克服在机器人抓取中依赖力/触觉传感器和复杂力学模型的局限性。
• 开发一种基于视觉的方法，以检测番茄果穗的关键几何特征，实现安全、无损伤的抓取。
• 通过在果柄上实现基于围捕的抓取策略，最小化机械应力，并降低对精确力反馈的依赖。
• 在真实果穗几何结构上验证该方法，使用低成本硬件和真实番茄模型。

提出的方法

• 使用RGB-D相机捕获藤本番茄果穗的三维点云，以提取几何特征。
• 实现一种基于图的果柄检测算法，以识别果穗上的主茎和连接点。
• 应用计算机视觉流程检测番茄、果萼、果柄和果柄，估算质心和茎部几何结构。
• 建立机械手与果穗的几何模型，以验证围捕约束并确定安全抓取姿态。
• 采用基于位置的控制方法，从上方接近并抓取果柄，确保夹爪包围茎部而不接触番茄。
• 基于二维图像分析优先选择果柄周围具有足够间隙的抓取位置，尽管深度数据对于避免遮挡至关重要。

实验结果

研究问题

• RQ1 基于视觉的系统能否可靠检测藤本番茄果穗的关键几何特征（包括果柄和连接点），以实现抓取？
• RQ2 在不依赖力反馈或详细物体模型的情况下，基于围捕的果柄抓取策略能否实现高成功率？
• RQ3 该抓取方法在不同果穗形态下的成功率如何变化，特别是在遮挡和茎部靠近等实际约束条件下？
• RQ4 规划与控制误差在多大程度上影响抓取性能，特别是在质心靠近果柄时？
• RQ5 该方法在未来的实现中能否扩展以处理重叠或接触的果穗以及真实番茄？

主要发现

• 计算机视觉流程以0%的误报率正确检测了99.7%的番茄，并将果穗质心估计误差控制在5.02 ± 3.26 mm以内。
• 基于图的果柄检测方法正确识别了86%的茎部连接点，但报告了34%的假阳性。
• 在简单的塑料果穗模型上，该抓取方法在抓取与放置任务中实现了92%的成功率。
• 在具有真实茎部的逼真果穗模型上，成功率降至83%，失败主要源于控制与规划误差。
• 该方法对果穗的形状和尺寸变化表现出鲁棒性，无需重新训练即可成功处理多种几何结构。
• 失败通常由遮挡或果柄周围间隙不足引起，凸显了利用三维点云分析以避免障碍物的必要性。