[论文解读] An Overview of Perception Methods for Horticultural Robots: From Pollination to Harvest

Ho Seok Ahn, Feras Dayoub+4 more|arXiv (Cornell University)|Jun 26, 2018

Smart Agriculture and AI参考文献 34被引用 6

一句话总结

本文全面综述了园艺机器人在授粉、产量估算和收获中的感知方法。分析了在非结构化、杂乱环境中的挑战——如光照变化、遮挡和果实误分类——并强调深度学习与多模态传感（例如RGB、红外、激光雷达）是实现鲁棒检测与定位的关键，最先进的模型在果实检测上的mIoU得分已超过0.83。

ABSTRACT

Horticultural enterprises are becoming more sophisticated as the range of the crops they target expands. Requirements for enhanced efficiency and productivity have driven the demand for automating on-field operations. However, various problems remain yet to be solved for their reliable, safe deployment in real-world scenarios. This paper examines major research trends and current challenges in horticultural robotics. Specifically, our work focuses on sensing and perception in the three main horticultural procedures: pollination, yield estimation, and harvesting. For each task, we expose major issues arising from the unstructured, cluttered, and rugged nature of field environments, including variable lighting conditions and difficulties in fruit-specific detection, and highlight promising contemporary studies.

研究动机与目标

• 识别并分析园艺机器人在授粉、产量估算和收获三个关键阶段中的核心感知挑战。
• 研究非结构化、杂乱且动态的田间环境（如光照变化、遮挡和地形不规则）对机器人感知性能的影响。
• 评估深度学习与多模态传感（如RGB、红外、激光雷达、IMU）在克服实际园艺应用中感知局限性方面的作用。
• 指出现有研究中的空白，包括需要更大、更易获取的数据集以及更快的处理速度以实现实时部署。
• 展望未来园艺自主系统感知技术的发展趋势，强调鲁棒性与可扩展性。

提出的方法

• 系统性回顾2015至2018年间的近期文献，聚焦于机器人授粉、产量估算和收获中的感知技术。
• 按任务对感知方法进行分类：花朵检测（使用手工特征与深度神经网络）、作物计数（通过全卷积神经网络和实例分割）、果实定位（使用三维传感与立体视觉）。
• 评估多模态传感融合，包括RGB、红外（IR）、激光雷达、GPS、IMU和轮速里程计，以提升定位精度并减少感知混淆。
• 分析Faster R-CNN、FCNN、SegNet和全卷积网络（FCNs）等深度神经网络架构在像素级与基于目标分类中的应用。
• 使用mIoU、F1-score、精确率/召回率和准确率等基准指标，比较不同研究中模型的性能表现。
• 引入几何先验（如作物行对齐）以增强在结构化田间布局中的检测鲁棒性。

实验结果

研究问题

• RQ1 在非结构化、动态的田间环境中，机器人授粉、产量估算和收获的主要感知挑战是什么？
• RQ2 光照变化、遮挡和植株相似性如何影响真实果园中果实与花朵检测的准确性？
• RQ3 深度学习模型（如FCNN、Faster R-CNN）在检测作物与花朵方面相较于传统手工特征方法的优越程度如何？
• RQ4 多模态传感器融合（如RGB、IR、激光雷达、IMU）在GPS信号缺失或杂乱环境中如何提升定位精度并减少误差？
• RQ5 当前感知系统的关键局限性是什么——特别是数据集规模、推理速度和泛化能力方面的不足——这些因素如何阻碍实时田间部署？

主要发现

• 最先进的深度学习模型在RGB数据上使用FCNN对苹果检测的平均交并比（mIoU）达到0.838，对橙子检测的mIoU为0.813。
• 基于FCNN的方法在结合RGB与红外（IR）数据时，作物分割的精确率/召回率达到了0.9，优于传统方法在遮挡条件下的表现。
• Faster R-CNN在七种果实类型的基于目标检测中取得了0.9的F1-score，表明其在复杂场景中具有优异性能。
• IMU、轮速里程计、GPS与激光雷达的多模态融合显著减少了感知混淆，并提高了不平坦地形中的定位精度。
• 基于地标映射的FCNN方法即使在光照变化较大的条件下，也能实现鲁棒的机器人位姿估计与环境建图。
• 尽管已有进展，但模型仍因数据集有限且缺乏代表性而容易过拟合，且实时部署受限于处理延迟。