[论文解读] Fruit Quantity and Quality Estimation using a Robotic Vision System

Michael Halstead, Chris McCool+3 more|arXiv (Cornell University)|Jan 17, 2018

Smart Agriculture and AI参考文献 9被引用 7

一句话总结

该论文提出了一种仅依赖视觉的机器人系统，采用基于Faster R-CNN的并行-RFCNN架构，联合估计甜椒的数量与品质，实现在两天田间测试中F1得分达到77.3%，追踪精度与真实值相差不超过4.1%，且在光照和叶丛条件多变的情况下表现稳健。

ABSTRACT

Accurate localisation of crop remains highly challenging in unstructured environments such as farms. Many of the developed systems still rely on the use of hand selected features for crop identification and often neglect the estimation of crop quantity and quality, which is key to assigning labor during farming processes. To alleviate these limitations we present a robotic vision system that can accurately estimate the quantity and quality of sweet pepper (Capsicum annuum L), a key horticultural crop. This system consists of three parts: detection, quality estimation, and tracking. Efficient detection is achieved using the FasterRCNN framework. Quality is then estimated in the same framework by learning a parallel layer which we show experimentally results in superior performance than treating quality as extra classes in the traditional Faster-RCNN framework. Evaluation of these two techniques outlines the improved performance of the parallel layer, where we achieve an F1 score of 77.3 for the parallel technique yet only 72.5 for the best scoring (red) of the multi-class implementation. To track the crop we present a tracking via detection approach, which uses the FasterRCNN with parallel layers, that is also a vision-only solution. This approach is cheap to implement as it only requires a camera and in experiments across 2 days we show that our proposed system can accurately estimate the number of sweet pepper present, within 4.1% of the ground truth.

研究动机与目标

• 解决现有农业机器人视觉系统中缺乏集成果实数量与品质估计的问题。
• 应对非结构化农田环境中存在的遮挡、光照变化及叶丛干扰等挑战。
• 开发一种低成本的纯视觉解决方案，避免依赖外部传感器或复杂硬件。
• 在准确度上超越传统多类别Faster R-CNN方法，提升检测与品质估计性能。
• 通过基于检测的追踪系统实现可靠果实计数，防止视频序列中重复计数。

提出的方法

• 采用并行-RFCNN架构，将目标检测与果实品质估计作为并行任务处理，而非多类别分类。
• 使用自定义损失函数进行网络训练，结合区域建议网络（RPN）损失与检测头损失，并设置加权超参数 γdt=0.3, γmerge=0.4, γboundary=0.5。
• 采用基于检测的追踪框架，通过空间与外观特征关联视频帧间的检测结果，确保每颗果实仅被计数一次。
• 实施纯视觉处理流程，完全依赖RGB摄像头输入，避免对LiDAR或GPS的依赖。
• 应用非极大值抑制与交并比阈值处理（IoU=0.4），以优化边界框预测并减少误报。
• 利用数据增强与迁移学习提升泛化能力，尤其针对幼果等代表性不足的果实阶段。

实验结果

研究问题

• RQ1 单一深度学习模型能否在不将品质划分为离散类别的情况下，有效实现甜椒的联合检测与品质估计？
• RQ2 与多类别检测方法相比，并行检测-品质估计架构在F1得分与鲁棒性方面表现如何？
• RQ3 在存在遮挡与动态光照的真实田间条件下，纯视觉的基于检测的追踪系统在果实计数准确性方面能保持多大程度的稳定性？
• RQ4 对于在大小与颜色上与成熟甜椒显著不同的未成熟果实（幼果），系统表现如何？
• RQ5 在多日田间部署中，系统在总果实数量与品质分布估计方面的整体准确率如何？

主要发现

• 并行-RFCNN方法在果实检测任务中达到77.3%的F1得分，显著优于多类别Faster R-CNN方法，后者最高仅达72.5%（红色果实类）。
• 在两天田间测试中，系统对总果实数量的估计与真实值相差仅4.1%，其中周三误差为11.8%，周四为4.9%。
• 所有果实类别中，品质估计平均准确率达82.1%，其中红色果实误差最低（0.9%），而周三绿色果实因叶丛密集导致误差较高（11.8%）。
• 系统在幼果检测方面表现不佳，仅在专用测试区域识别出87株中的51株，表明需对早期阶段甜椒重新训练模型。
• 追踪系统在仅含幼果的区域中正确识别出混合果与红色果实的缺失，表明其对类别缺失具有鲁棒性。
• 纯视觉追踪方法证明有效且成本低廉，仅依赖摄像头输入，无需额外传感器或校准。