[论文解读] Apple scab detection in orchards using deep learning on colour and multispectral images

Robert Rouš, Joseph Peller+4 more|arXiv (Cornell University)|Feb 17, 2023

Spectroscopy and Chemometric Analyses被引用 7

一句话总结

本研究在果园环境中评估了基于RGB和多光谱（VIS-NIR，8波段）图像的深度学习在苹果泡锈病检测中的应用，采用YOLOv5对从光谱数据生成的假彩色合成图像及分割掩码进行检测。尽管多光谱图像在视觉对比度上更高，但模型在RGB图像上的表现更优（mAP@50: 0.73），而在多光谱数据上的表现则较差（mAP@50: 0.53），表明基于RGB预训练模型的迁移学习在光谱输入上效果受限。

ABSTRACT

Apple scab is a fungal disease caused by Venturia inaequalis. Disease is of particular concern for growers, as it causes significant damage to fruit and leaves, leading to loss of fruit and yield. This article examines the ability of deep learning and hyperspectral imaging to accurately identify an apple symptom infection in apple trees. In total, 168 image scenes were collected using conventional RGB and Visible to Near-infrared (VIS-NIR) spectral imaging (8 channels) in infected orchards. Spectral data were preprocessed with an Artificial Neural Network (ANN) trained in segmentation to detect scab pixels based on spectral information. Linear Discriminant Analysis (LDA) was used to find the most discriminating channels in spectral data based on the healthy leaf and scab infested leaf spectra. Five combinations of false-colour images were created from the spectral data and the segmentation net results. The images were trained and evaluated with a modified version of the YOLOv5 network. Despite the promising results of deep learning using RGB images (P=0.8, mAP@50=0.73), the detection of apple scab in apple trees using multispectral imaging proved to be a difficult task. The high-light environment of the open field made it difficult to collect a balanced spectrum from the multispectral camera, since the infrared channel and the visible channels needed to be constantly balanced so that they did not overexpose in the images.

研究动机与目标

• 评估深度学习模型在真实果园环境下，利用RGB和多光谱（VIS-NIR）图像检测苹果泡锈病的有效性。
• 探究多光谱成像是否因增强病害组织与健康组织的对比度而提升检测精度，相较于传统的RGB成像。
• 评估基于RGB预训练（如COCO）的迁移学习对应用于多光谱图像数据时性能的影响。
• 探索将多光谱波段生成的假彩色合成图像作为目标检测网络（如YOLOv5）输入的可行性。
• 识别环境与技术挑战，特别是开放田间环境中光照不均和多光谱通道过曝问题，对可靠数据采集的阻碍。

提出的方法

• 使用传统RGB相机和8波段VIS-NIR多光谱相机，从感染果园中采集了168组图像场景。
• 利用人工神经网络（ANN）对光谱数据进行预处理，该网络专门用于像素级分割泡锈病病灶组织。
• 应用线性判别分析（LDA）识别健康与泡锈病感染叶片之间最具区分度的光谱波段。
• 使用选定的光谱波段（如7,3,1；7,3；以及分割输出）生成五组假彩色图像组合，以增强视觉对比度。
• 在六组图像数据集上训练并评估了改进后的YOLOv5目标检测网络：RGB图像、分割掩码以及多种多光谱合成图像。
• 采用mAP@50和mAP@0.5:0.95作为主要指标，比较不同图像类型下的检测性能。

Figure 1: Imaging camera setup from the field. The Multispectral camera and RGB camera had overlapping fields of view and were triggered together using a software trigger.

实验结果

研究问题

• RQ1 在使用深度学习时，多光谱成像是否相比RGB成像能提升苹果泡锈病检测的准确性？
• RQ2 尽管假彩色多光谱图像中健康组织与感染组织的视觉对比度更高，YOLOv5模型为何在这些图像上表现更差？
• RQ3 基于RGB预训练模型（如COCO）的迁移学习在多光谱图像数据上在多大程度上限制了深度学习模型的性能？
• RQ4 高环境光照和通道过曝等环境因素如何影响开放田间果园中多光谱数据采集的可靠性？
• RQ5 如果输入图像与预训练数据集的分布不相似，光谱数据能否仍被有效用于疾病检测？

主要发现

• YOLOv5模型在RGB图像上取得了最高的mAP@50得分（0.73），显著优于所有基于多光谱图像的数据集。
• 在多光谱合成图像中，波段7,3,1的组合取得了最佳的mAP@50（0.53），但仍低于RGB图像的表现。
• 在集成分割网络的多光谱数据上训练的模型（MS7,3+SegN）mAP@50为0.43，表明其泛化能力有限。
• 假阳性的主要成因是叶影以及叶miner等其他叶部病害，尤其在多光谱数据中更为明显。
• 强光开放田间环境导致可见光与红外通道曝光不一致，增加了多光谱数据采集的复杂性，需持续调整平衡。
• 尽管多光谱图像在视觉对比度上更高，但性能差距表明，基于RGB预训练的模型可能未能有效利用光谱数据，尤其是在输入分布显著不同时。

Figure 6: Examples of each of the six image sets used in this experiment. The top left is a traditional RGB images, the top center is a monochrome image of the Segmentation Network Results. The top right is am false colour image composed of the multispectral bands 7,3, and 1. The Bottom left is a fa