[论文解读] An Application of Deep Learning for Sweet Cherry Phenotyping using YOLO Object Detection

Ritayu Nagpal, Sam Long+5 more|arXiv (Cornell University)|Feb 13, 2023

Smart Agriculture and AIAgricultural and Biological Sciences被引用 3

一句话总结

本文提出了一种基于YOLOv3的深度学习系统，用于甜 cherry的自动化表型分析，可实现从图像中实时检测、计数、大小估计和颜色分类。该模型在目标检测中达到99%的准确率，在定位任务中达到90%的交并比（IoU），在速度和一致性方面显著优于人工方法，同时减少了人为错误和偏差。

ABSTRACT

Tree fruit breeding is a long-term activity involving repeated measurements of various fruit quality traits on a large number of samples. These traits are traditionally measured by manually counting the fruits, weighing to indirectly measure the fruit size, and fruit colour is classified subjectively into different color categories using visual comparison to colour charts. These processes are slow, expensive and subject to evaluators' bias and fatigue. Recent advancements in deep learning can help automate this process. A method was developed to automatically count the number of sweet cherry fruits in a camera's field of view in real time using YOLOv3. A system capable of analyzing the image data for other traits such as size and color was also developed using Python. The YOLO model obtained close to 99% accuracy in object detection and counting of cherries and 90% on the Intersection over Union metric for object localization when extracting size and colour information. The model surpasses human performance and offers a significant improvement compared to manual counting.

研究动机与目标

• 为了在育种计划中实现甜 cherry 表型分析的自动化，以克服耗时且易出错的人工方法。
• 开发一种实时、准确且一致的系统，利用深度学习对樱桃进行计数、尺寸测量和颜色分类。
• 通过用客观的数据驱动分析替代主观的视觉比较，减少在果实性状评估中的人为偏差和疲劳。
• 使用 Python、OpenCV 和 Tkinter 开发一个集成的桌面应用程序，实现端到端的图像分析和数据导出。
• 证明深度学习模型在甜 cherry 表型分析任务中可超越人类在速度和准确性方面的表现。

提出的方法

• 在甜 cherry 图像中使用 YOLOv3 和 YOLOv3 EfficientNet 进行目标检测和定位。
• 在受控环境下采集的自定义标注甜 cherry 图像数据集上，采用迁移学习训练模型。
• 通过边界框回归和置信度分数，根据图像尺寸估算樱桃大小。
• 利用检测边界框内的平均 RGB 值进行颜色分类，并与 CTIFL 颜色标准进行对比。
• 将模型与 OpenCV 和 Tkinter 集成，构建一个用于实时分析和将数据导出至电子表格的桌面应用程序。
• 通过调整置信度和非极大值抑制阈值等超参数，优化推理速度和准确性。

实验结果

研究问题

• RQ1 基于 YOLO 的目标检测能否在真实农业图像中实现对甜 cherry 高精度的计数和定位？
• RQ2 YOLOv3 在速度、准确性和一致性方面与传统人工表型方法相比表现如何？
• RQ3 深度学习模型在多大程度上能准确地从图像数据中估算樱桃大小和颜色？与人工评估相比表现如何？
• RQ4 该自动化系统能否检测并纠正先前收集的人工数据中存在的错误？
• RQ5 图像预处理、光照变化和白平衡对表型分析中颜色分类的可靠性有何影响？

主要发现

• YOLOv3 模型在检测和计数甜 cherry 时达到 99% 的准确率，显著优于人工计数在速度和一致性方面的表现。
• 该模型在定位任务中取得 90% 的交并比（IoU）得分，表明在大小和颜色估算方面具有高精度。
• YOLO 预测的樱桃大小与传统基于重量的测量结果之间的相关系数为 0.875（p < 0.001），解释了 76.5% 的方差。
• 颜色分类准确率达到 72%，专家认为该结果可接受，考虑到人为主观性及光照变化的影响。
• 与人工方法相比，该系统将处理时间减少了 95%，实现了高通量表型分析。
• 该模型成功识别并纠正了往年图像数据集中存在的手动错误，证明了其鲁棒性和可靠性。