[论文解读] Deep Learning for Automatic Quality Grading of Mangoes: Methods and Insights

Shih-Lun Wu, Hsiao-Yen Tung+1 more|arXiv (Cornell University)|Nov 23, 2020

Smart Agriculture and AI参考文献 35被引用 4

一句话总结

本文提出一种基于卷积神经网络（CNN）的深度学习方法，用于自动芒果品质分级，包括VGG16、ResNet以及自定义卷积自编码器-分类器模型，结合迁移学习与通过Mask R-CNN实现的背景去除。表现最佳的模型为使用预处理图像的VGG16，其准确率较高，显著性图与主成分分析（PCA）显示，该模型聚焦于黑斑等可见缺陷，为模型决策提供了可解释性洞察。

ABSTRACT

The quality grading of mangoes is a crucial task for mango growers as it vastly affects their profit. However, until today, this process still relies on laborious efforts of humans, who are prone to fatigue and errors. To remedy this, the paper approaches the grading task with various convolutional neural networks (CNN), a tried-and-tested deep learning technology in computer vision. The models involved include Mask R-CNN (for background removal), the numerous past winners of the ImageNet challenge, namely AlexNet, VGGs, and ResNets; and, a family of self-defined convolutional autoencoder-classifiers (ConvAE-Clfs) inspired by the claimed benefit of multi-task learning in classification tasks. Transfer learning is also adopted in this work via utilizing the ImageNet pretrained weights. Besides elaborating on the preprocessing techniques, training details, and the resulting performance, we go one step further to provide explainable insights into the model's working with the help of saliency maps and principal component analysis (PCA). These insights provide a succinct, meaningful glimpse into the intricate deep learning black box, fostering trust, and can also be presented to humans in real-world use cases for reviewing the grading results.

研究动机与目标

• 解决人工芒果分级过程劳动密集且易出错的问题，该问题显著影响种植者的盈利能力。
• 开发一种自动化、高精度且可解释的系统，利用深度学习将芒果分类为A、B、C三个品质等级。
• 通过数据预处理（包括背景去除）与使用ImageNet预训练权重的迁移学习，提升模型性能。
• 利用显著性图与主成分分析（PCA）揭示模型决策过程的可解释性。

提出的方法

• 采用在人工标注的芒果边界上微调的Mask R-CNN，从6,400张芒果图像中去除噪声背景。
• 通过使用ImageNet预训练权重初始化模型（AlexNet、VGGs、ResNets）实现迁移学习，以在数据有限的情况下提升性能。
• 设计了一类卷积自编码器-分类器（ConvAE-Clfs），以利用多任务学习实现特征正则化与可迁移性。
• 应用显著性图以可视化模型在预测过程中关注的图像区域，增强模型的可解释性。
• 对潜在特征表示进行主成分分析（PCA），以揭示品质等级在模型内部表征中的编码方式。
• 在AICUP2020 Irwin芒果数据集上训练并评估多种CNN架构，比较不同模型在性能与可解释性方面的表现。

Figure 1: Some sample images from AICUP2020, the dataset used in our work. Please note that the images possess high variance in background, lighting conditions, and the distance of target mangoes.

实验结果

研究问题

• RQ1 在有限的真实世界数据集上微调时，预训练的CNN（如VGG16与ResNet）在芒果品质等级分类中的有效性如何？
• RQ2 使用Mask R-CNN进行背景去除在多大程度上提升了深度学习模型在芒果分级中的性能？
• RQ3 将卷积自编码器与分类器结合，是否能在低数据环境下增强模型泛化能力与特征学习能力？
• RQ4 深度学习模型学习到了哪些视觉与特征层面的模式，以区分芒果的A、B、C三个品质等级？
• RQ5 显著性图与PCA如何为模型决策过程提供有意义且可解释的洞察，以支持实际部署？

主要发现

• VGG16在所有测试模型中取得了最高的分类准确率，优于AlexNet、ResNets以及自定义的ConvAE-Clfs。
• 通过Mask R-CNN进行背景去除显著提升了模型性能，减少了噪声干扰，使模型能够更专注于芒果及其缺陷。
• 显著性图证实，模型关注的是黑斑等可见缺陷，验证了其学习到了与分级相关的视觉线索。
• PCA分析显示，第一主成分与缺陷严重程度强相关——C级最高，其次为B级与A级，表明缺陷负荷是模型预测的主要决定因素。
• A级芒果在潜在特征空间中聚集成紧密簇，而C级样本则分布较散，表明高品质芒果在视觉上具有一致性，而低品质芒果则表现出多样的缺陷模式。
• 数据集中存在标签不一致现象，部分芒果存在肤色不均或轻微缺陷，但其标签在不同等级间不一致，这可能是某些样本误分类的原因。

Figure 2: Background removal process. Image (a) shows how we annotate our dataset; the boundary of the mango fruit is marked with a blue polygon. As for segmentation results, Image (b) uses splash method, with which a rugged boundary of the mango is obtained. Image (c) uses the bounding box method,