[论文解读] Dataset and Performance Comparison of Deep Learning Architectures for Plum Detection and Robotic Harvesting

Jasper Brown, Salah Sukkarieh|arXiv (Cornell University)|May 9, 2021

Smart Agriculture and AI参考文献 29被引用 4

一句话总结

本论文在白天和夜间真实机器人李子采摘场景下，收集了两个新的RGB-D数据集，对四种深度学习目标检测器（RetinaNet、Faster R-CNN、YOLOv3、CenterNet）进行了基准测试。研究发现：小样本数据集下迁移学习至关重要；部分模型在夜间检测精度高于白天；RGBD融合仅带来微小增益，而数据增强的效果优于深度信息融合。

ABSTRACT

Many automated operations in agriculture, such as weeding and plant counting, require robust and accurate object detectors. Robotic fruit harvesting is one of these, and is an important technology to address the increasing labour shortages and uncertainty suffered by tree crop growers. An eye-in-hand sensing setup is commonly used in harvesting systems and provides benefits to sensing accuracy and flexibility. However, as the hand and camera move from viewing the entire trellis to picking a specific fruit, large changes in lighting, colour, obscuration and exposure occur. Object detection algorithms used in harvesting should be robust to these challenges, but few datasets for assessing this currently exist. In this work, two new datasets are gathered during day and night operation of an actual robotic plum harvesting system. A range of current generation deep learning object detectors are benchmarked against these. Additionally, two methods for fusing depth and image information are tested for their impact on detector performance. Significant differences between day and night accuracy of different detectors is found, transfer learning is identified as essential in all cases, and depth information fusion is assessed as only marginally effective. The dataset and benchmark models are made available online.

研究动机与目标

• 为解决在光照变化和遮挡条件下，评估深度学习目标检测器在机器人水果采摘任务中缺乏真实、应用特定的数据集的问题。
• 在真实世界白天和夜间采摘条件下，对最先进的深度学习目标检测器（RetinaNet、Faster R-CNN、YOLOv3、CenterNet）进行基准测试。
• 评估使用早期融合与晚期融合策略融合图像与深度数据对检测性能的影响。
• 评估迁移学习与数据增强在提升小样本农业数据集上检测器精度中的作用。
• 提供公开可获取的数据集与训练好的模型，以支持农业机器人与果实检测领域的未来研究。

提出的方法

• 从基于眼在手的机器人李子采摘系统中收集了700张标注的RGB-D图像（白天350张，夜间350张），使用Intel Realsense D435相机采集。
• 在白天和夜间数据集上训练并评估了四种深度学习目标检测架构——RetinaNet、Faster R-CNN、YOLOv3与CenterNet。
• 实现了两种RGBD融合策略：早期融合（将RGB与深度图像拼接为4通道输入）与晚期融合（并行处理RGB与深度主干网络后，拼接其特征）。
• 采用ImageNet预训练权重进行迁移学习，并应用数据增强（随机裁剪、颜色抖动）以提升小样本数据集上的性能。
• 使用0.5 IOU阈值下的平均精度（mAP）评估所有模型与配置的检测性能。
• 开展消融实验，以分离骨干网络架构、迁移学习与融合策略对检测精度的影响。

实验结果

研究问题

• RQ1 最先进的深度学习目标检测器在真实机器人李子采摘数据集（白天与夜间条件）下的表现如何？
• RQ2 在小样本农业数据集上训练时，迁移学习对检测器性能的影响是什么？
• RQ3 RGB与深度数据的早期融合或晚期融合是否能提升机器人采摘场景下的目标检测精度？
• RQ4 为何不同模型在白天与夜间数据集上的检测性能差异显著，尤其是在夜间条件下可见果实较少但被遮挡更严重的情况下？
• RQ5 本研究自定义数据集上模型的性能与它们在COCO基准上的报告性能相比如何？

主要发现

• 迁移学习对所有模型均至关重要，在小样本数据集上显著提升了性能，其影响甚至超过网络架构选择本身。
• Faster R-CNN在夜间数据集上取得了最高平均精度（mAP 0.78），优于更现代且更快的网络如YOLOv3与RetinaNet。
• 当使用ResNet-101骨干网络并结合数据增强与迁移学习时，RetinaNet在白天数据集上达到了最高的mAP（0.82）。
• RGB与深度特征的晚期融合相比仅使用RGB的基线模型，仅带来微小性能提升；而早期融合反而降低了性能。
• 数据增强带来的性能提升大于深度融合，表明扩展RGB数据集比增加深度信息更有效。
• CenterNet在两个数据集上表现均较差，尽管其在COCO上的mAP较高，表明COCO性能不能可靠预测农业检测任务中的表现。