[论文解读] Apple Leaf Disease Identification through Region-of-Interest-Aware Deep Convolutional Neural Network

Hee-Jin Yu, Chang‐Hwan Son|arXiv (Cornell University)|Mar 25, 2019

Smart Agriculture and AI参考文献 24被引用 10

一句话总结

本文提出了一种面向苹果叶部病害识别的区域感兴趣（ROI）感知深度卷积神经网络，利用编码器-解码器子网络分割病害影响区域，并采用基于VGG的子网络进行分类。通过在端到端训练方案中融合预测的ROI特征图与输入图像，该方法在准确率上优于当前最先进的方法，包括迁移学习、双线性模型和多尺度特征提取。

ABSTRACT

A new method of recognizing apple leaf diseases through region-of-interest-aware deep convolutional neural network is proposed in this paper. The primary idea is that leaf disease symptoms appear in the leaf area whereas the background region contains no useful information regarding leaf diseases. To realize this idea, two subnetworks are first designed. One is for the division of the input image into three areas: background, leaf area, and spot area indicating the leaf diseases, which is the region of interest, and the other is for the classification of leaf diseases. The two subnetworks exhibit the architecture types of an encoder-decoder network and VGG network, respectively; subsequently, they are trained separately through transfer learning with a new training set containing class information, according to the types of leaf diseases and the ground truth images where the background, leaf area, and spot area are separated. Next, to connect these subnetworks and subsequently train the connected whole network in an end-to-end manner, the predicted ROI feature map is stacked on the top of the input image through a fusion layer, and subsequently fed into the subnetwork used for the leaf disease identification. The experimental results indicate that correct recognition accuracy can be increased using the predicted ROI feature map. It is also shown that the proposed method obtains better performance than the conventional state-of-the-art methods: transfer-learning-based methods, bilinear model, and multiscale-based deep feature extraction, and pooling approach.

研究动机与目标

• 通过将计算注意力集中在病害影响区域而非整个叶片图像，提升苹果叶部病害识别的准确率。
• 通过引入专用的ROI感知分割子网络，解决传统模型处理无关背景区域导致的效率低下问题。
• 通过端到端训练整合病灶区域定位与病害类型分类，提升分类性能。
• 超越现有最先进的方法，包括迁移学习、双线性模型和多尺度特征提取技术。
• 在真实世界的苹果叶部病害数据集上验证ROI感知特征融合在提升识别准确率方面的有效性。

提出的方法

• 该方法采用编码器-解码器架构，将输入图像分割为三个区域：背景、叶片区域和病斑区域（即感兴趣区域，或ROI），以指示病害症状。
• 使用独立的基于VGG的网络进行病害分类，该网络在包含背景、叶片和病斑区域真实标注的自定义数据集上通过迁移学习进行训练。
• 通过融合层将分割子网络预测的ROI特征图与原始输入图像进行融合，然后输入分类子网络。
• 整个网络通过端到端微调，联合优化分割和分类任务。
• 该方法采用迁移学习，并使用新收集的数据集，其中包含类别标签以及背景、叶片和病害影响区域的像素级标注。
• 融合机制确保分类网络接收到聚焦于病害相关特征的增强上下文信息。

实验结果

研究问题

• RQ1 与全图处理相比，聚焦于病害影响区域（ROI）是否能提升苹果叶部病害分类的准确率？
• RQ2 将预测的ROI特征图与输入图像融合，是否能带来优于标准特征提取方法的性能？
• RQ3 所提出的ROI感知网络与最先进的方法（如迁移学习、双线性模型和多尺度特征池化）相比表现如何？
• RQ4 对双路径网络（分割 + 分类）进行端到端训练，在多大程度上提升了病害识别能力？
• RQ5 专用的ROI分割子网络是否能减少无关背景区域对分类性能的影响？

主要发现

• 所提出的方法在识别准确率上优于传统的基于迁移学习的方法、双线性模型以及多尺度特征提取方法。
• 通过融合层整合预测的ROI特征图，显著提升了分类性能，突出了与病害相关的特征。
• ROI感知网络的端到端训练带来了更好的泛化能力与更鲁棒的病害检测效果。
• 编码器-解码器子网络能有效定位病斑区域，使分类网络能够聚焦于病理相关区域。
• 该方法在包含背景、叶片和病斑区域像素级标注的自定义数据集上表现出卓越性能。
• 结果证实，关注病害影响区域可减少无关图像区域带来的噪声，同时提升模型的可解释性与准确率。