[论文解读] Deep Neural Network Based Real-time Kiwi Fruit Flower Detection in an Orchard Environment

JongYoon Lim, Ho Seok Ahn+4 more|arXiv (Cornell University)|Jun 7, 2020

Smart Agriculture and AI被引用 12

一句话总结

本文提出了一种基于Faster R-CNN和SSD模型、结合InceptionNet V2与NASNet特征提取器的实时深度学习系统，用于在果园中检测猕猴桃果实花朵。在多季节、多地点的数据集上进行评估，该模型实现了0.919的精确率、0.874的召回率和0.889的F1分数，表现出稳健的性能，适用于自主授粉机器人应用。

ABSTRACT

In this paper, we present a novel approach to kiwi fruit flower detection using Deep Neural Networks (DNNs) to build an accurate, fast, and robust autonomous pollination robot system. Recent work in deep neural networks has shown outstanding performance on object detection tasks in many areas. Inspired this, we aim for exploiting DNNs for kiwi fruit flower detection and present intensive experiments and their analysis on two state-of-the-art object detectors; Faster R-CNN and Single Shot Detector (SSD) Net, and feature extractors; Inception Net V2 and NAS Net with real-world orchard datasets. We also compare those approaches to find an optimal model which is suitable for a real-time agricultural pollination robot system in terms of accuracy and processing speed. We perform experiments with dataset collected from different seasons and locations (spatio-temporal consistency) in order to demonstrate the performance of the generalized model. The proposed system demonstrates promising results of 0.919, 0.874, and 0.889 for precision, recall, and F1-score respectively on our real-world dataset, and the performance satisfies the requirement for deploying the system onto an autonomous pollination robotics system.

研究动机与目标

• 开发一种在真实果园环境中具备实时性、高精度和强鲁棒性的猕猴桃果实花朵检测系统。
• 解决不同季节和地点花朵外观在时空上变化带来的挑战。
• 优化深度神经网络模型，以在自主授粉机器人上实现部署，平衡精度与推理速度。
• 在真实果园数据上评估最先进的目标检测器（Faster R-CNN、SSD）和特征提取器（InceptionNet V2、NASNet）的性能。
• 证明模型在猕猴桃果园中多样化环境和物候条件下的泛化能力。

提出的方法

• 采用两种最先进的目标检测框架：Faster R-CNN和单次检测器（SSD），实现端到端的花朵检测。
• 集成两种深度特征提取器——InceptionNet V2和NASNet，以提升对小型、遮挡和形态多变的猕猴桃花朵的特征表示能力。
• 在跨多个季节和地理区域采集的真实果园数据集上进行模型训练与微调，以确保时空鲁棒性。
• 通过评估处理延迟与精度的权衡，优化模型推理速度，以实现在移动机器人平台上的实时部署。
• 应用数据增强和领域自适应技术，提升在不同光照、天气和植株生长阶段下的泛化能力。
• 以平均平均精度（mAP）和F1分数为主要指标，评估并比较不同配置下的模型性能。

实验结果

研究问题

• RQ1 深度神经网络是否能在复杂多变的果园环境中实现高精度与实时推理速度的猕猴桃果实花朵检测？
• RQ2 在真实果园数据上，不同目标检测架构（Faster R-CNN与SSD）和特征提取器（InceptionNet V2与NASNet）在精度与速度方面的表现如何比较？
• RQ3 该模型在不同季节和地点上的泛化能力如何，能否确保检测性能在时空上的一致性？
• RQ4 何种模型配置能够在高检测精度与低推理延迟之间实现最佳平衡，以适用于自主授粉机器人的部署？
• RQ5 所提出的系统是否能达到实际农业机器人应用中可靠运行所需的表现指标？

主要发现

• 所提出的系统在真实果园数据集上实现了0.919的精确率、0.874的召回率和0.889的F1分数，表明其具备出色的检测性能。
• 该模型在不同季节和地点均表现出强鲁棒性，证实其在多样化环境和物候条件下的泛化能力。
• 在所评估的模型中，采用NASNet特征提取器的SSD在速度与精度之间实现了最佳平衡，适用于实时机器人部署。
• 在训练过程中使用多季节、多地点的数据显著提升了模型的泛化能力，并减少了对特定条件的过拟合。
• 该系统的性能指标满足集成到自主授粉机器人中的要求，验证了其实际可行性。
• 结果证实，基于深度学习的目标检测技术在实时田间农业应用（如猕猴桃果园的靶向授粉）中具有可行性。