[论文解读] An autonomous robot for pruning modern, planar fruit trees

Alexander You, Nidhi Parayil+8 more|arXiv (Cornell University)|Jun 14, 2022

Tree Root and Stability Studies被引用 12

一句话总结

本文提出首个面向真实果园环境下现代平面型甜 cherry树的端到端自主修剪机器人系统。该系统整合了RGB-D视觉、基于Mask R-CNN的修剪点检测以及闭环混合视觉/交互控制器，在田间试验中实现了58%的切割成功率，为未来机器人修剪系统奠定了可行基础。

ABSTRACT

Dormant pruning of fruit trees is an important task for maintaining tree health and ensuring high-quality fruit. Due to decreasing labor availability, pruning is a prime candidate for robotic automation. However, pruning also represents a uniquely difficult problem for robots, requiring robust systems for perception, pruning point determination, and manipulation that must operate under variable lighting conditions and in complex, highly unstructured environments. In this paper, we introduce a system for pruning sweet cherry trees (in a planar tree architecture called an upright fruiting offshoot configuration) that integrates various subsystems from our previous work on perception and manipulation. The resulting system is capable of operating completely autonomously and requires minimal control of the environment. We validate the performance of our system through field trials in a sweet cherry orchard, ultimately achieving a cutting success rate of 58%. Though not fully robust and requiring improvements in throughput, our system is the first to operate on fruit trees and represents a useful base platform to be improved in the future.

研究动机与目标

• 通过自动化高价值果树的休眠期修剪，应对果园日益严重的劳动力短缺问题。
• 克服在光照多变、非结构化户外环境中运行的修剪机器人在感知与操作方面的挑战。
• 开发一种完全自主的系统，对环境控制要求极低，可在真实果园条件下运行。
• 将感知、修剪点检测与精确操作整合为单一端到端的机器人修剪流程。
• 在真实田间环境下，验证对实际甜 cherry 树实现自主修剪的可行性。

提出的方法

• 使用安装在移动操作臂上的眼在手式RGB-D传感器，捕获树体结构的多视角图像。
• 采用一种新型前景分割方法，在无需受控光照条件下，将枝条从复杂背景中分离。
• 利用Mask R-CNN基于学习到的视觉特征，在分割后的枝条上检测修剪点。
• 通过几何标定与运动学模型，将2D检测结果投影至3D空间。
• 实施一种闭环混合视觉/交互控制器，结合视觉反馈与力/扭矩传感，实现精确且鲁棒的切割。
• 采用顺应性控制并设置15秒超时，以管理末端执行器的接近过程，并在接触时确保安全。

实验结果

研究问题

• RQ1 完全自主的机器人系统是否能在无环境控制的现实果园条件下检测并修剪枝条？
• RQ2 基于Mask R-CNN的视觉修剪点检测系统在非结构化户外环境中的有效性如何？
• RQ3 闭环视觉与力反馈对切割精度和鲁棒性有何影响？
• RQ4 机器人修剪在周期时间与成功率方面的主要性能瓶颈是什么？
• RQ5 操作臂运动学特性与机器人定位如何影响在紧凑果园布局中的避碰能力与可达性？

主要发现

• 系统在田间试验中实现了58%的切割成功率，成功修剪了38个检测到的枝条中的22个。
• 每次切割尝试的平均耗时为35.1秒，其中大部分时间用于运动控制（扫描耗时115秒，机械臂移动耗时50秒）。
• 最慢的运动组件为线性轴（20厘米移动耗时23秒）和路径点间相机移动，二者均受安全与机械设计限制。
• 顺应性控制器因力/扭矩估计不稳定而频繁超时，表明需改进切换与终止策略。
• UR5e操作臂的旋转关节在靠近棚架或与目标距离过远时易引发碰撞风险，凸显当前运动学设计的局限性。
• 冗余运动模式（如返回扫描路径点）造成了显著的时间开销，表明路径规划存在优化潜力。