[论文解读] Apple Defect Detection Using Deep Learning Based Object Detection For Better Post Harvest Handling

Paolo Valdez|arXiv (Cornell University)|May 12, 2020

Smart Agriculture and AI被引用 16

一句话总结

本文提出了一种基于YOLOv3的深度学习模型，用于实时苹果缺陷检测，以提升采后质量控制。通过在包含452张苹果图像（226张健康，226张有缺陷）的自定义数据集上进行训练，该模型在0.3IOU阈值下达到74.7%的mAP@0.3IOU，优于SSD在检测缺陷方面的表现，得益于其多尺度特征提取和残差块结构，使农民能够实现更快、更准确的分拣。

ABSTRACT

The inclusion of Computer Vision and Deep Learning technologies in Agriculture aims to increase the harvest quality, and productivity of farmers. During postharvest, the export market and quality evaluation are affected by assorting of fruits and vegetables. In particular, apples are susceptible to a wide range of defects that can occur during harvesting or/and during the post-harvesting period. This paper aims to help farmers with post-harvest handling by exploring if recent computer vision and deep learning methods such as the YOLOv3 (Redmon & Farhadi (2018)) can help in detecting healthy apples from apples with defects.

研究动机与目标

• 为解决人工采后苹果分拣劳动强度大且不一致的问题，通过自动化缺陷检测实现改进。
• 评估YOLOv3作为目标检测解决方案在苹果缺陷检测中的性能，将其视为目标检测任务而非图像分类任务。
• 通过实现对健康与有缺陷苹果的准确、实时检测，提升生产效率和出口准备度。
• 使用mAP和AP指标，在自定义苹果缺陷数据集上对比YOLOv3与SSD基检测器的性能。

提出的方法

• 使用来自COCO预训练检查点的迁移学习，在包含452张苹果图像（226张健康，226张有缺陷）的自定义数据集上训练YOLOv3模型。
• 未来工作中将采用图像到图像翻译技术进行数据增强，但本研究中未应用。
• 推理过程中使用非极大值抑制（NMS）过滤重叠的边界框预测结果。
• 通过在三个不同尺度的特征图上进行多尺度预测，以检测小缺陷。
• 利用带有跳跃连接的残差块，增强特征学习能力，提升对小病灶等细微细节的检测能力。
• 使用IOU阈值化、精确率、召回率、AP和mAP等指标，在多个IOU阈值（0.3、0.5、0.7）下评估模型性能。

实验结果

研究问题

• RQ1 当作为目标检测任务应用时，YOLOv3能否在检测苹果缺陷方面优于SSD？
• RQ2 YOLOv3的多尺度架构相较于SSD在检测小缺陷方面有何改进？
• RQ3 在真实采后环境中，残差块对检测细微苹果缺陷有何影响？
• RQ4 IOU阈值如何影响使用深度学习模型进行苹果缺陷检测时的精确率与召回率？
• RQ5 从COCO迁移学习在小规模、领域特定的苹果缺陷数据集上能多大程度上提升性能？

主要发现

• YOLOv3在0.3IOU阈值下达到74.7%的mAP@0.3IOU，显著优于SSD基模型的69.97% mAP@0.3IOU。
• 在有缺陷苹果检测方面，YOLOv3在0.3IOU阈值下达到69.09%的AP@0.3IOU，而SSD为59.51%，表明其缺陷定位能力更优。
• 由于YOLOv3通过多尺度特征提取更好地处理了小病灶，其在有缺陷苹果检测中表现出更高的精确率和召回率。
• YOLOv3在健康苹果检测中也保持了强劲性能（80.78% AP@0.3IOU），仅略高于SSD的80.42% AP@0.3IOU。
• SSD基模型在有缺陷苹果检测中产生了更多误报，尤其在小病灶上，导致整体mAP降低。
• YOLOv3架构中的残差块显著提升了对细微缺陷的检测能力，如图3的可视化结果所示。