[论文解读] Deep Learning for Plant Identification and Disease Classification from Leaf Images: Multi-prediction Approaches

Jianping Yao, Son N. Tran+2 more|arXiv (Cornell University)|Oct 25, 2023

Smart Agriculture and AI被引用 5

一句话总结

本文提出了一种新型的广义堆叠多输出卷积神经网络（GSMo-CNN），用于从叶片图像中联合进行植物识别与病害分类，通过采用多预测策略与交叉连接的预测层，并结合迁移学习。在大量实验中，InceptionV3 在多种主干网络中表现最佳，且单一统一模型的性能优于独立模型，在三个基准数据集上，GSMo-CNN 达到了最先进水平。

ABSTRACT

Deep learning plays an important role in modern agriculture, especially in plant pathology using leaf images where convolutional neural networks (CNN) are attracting a lot of attention. While numerous reviews have explored the applications of deep learning within this research domain, there remains a notable absence of an empirical study to offer insightful comparisons due to the employment of varied datasets in the evaluation. Furthermore, a majority of these approaches tend to address the problem as a singular prediction task, overlooking the multifaceted nature of predicting various aspects of plant species and disease types. Lastly, there is an evident need for a more profound consideration of the semantic relationships that underlie plant species and disease types. In this paper, we start our study by surveying current deep learning approaches for plant identification and disease classification. We categorise the approaches into multi-model, multi-label, multi-output, and multi-task, in which different backbone CNNs can be employed. Furthermore, based on the survey of existing approaches in plant pathology and the study of available approaches in machine learning, we propose a new model named Generalised Stacking Multi-output CNN (GSMo-CNN). To investigate the effectiveness of different backbone CNNs and learning approaches, we conduct an intensive experiment on three benchmark datasets Plant Village, Plant Leaves, and PlantDoc. The experimental results demonstrate that InceptionV3 can be a good choice for a backbone CNN as its performance is better than AlexNet, VGG16, ResNet101, EfficientNet, MobileNet, and a custom CNN developed by us. Interestingly, empirical results support the hypothesis that using a single model can be comparable or better than using two models. Finally, we show that the proposed GSMo-CNN achieves state-of-the-art performance on three benchmark datasets.

研究动机与目标

• 解决在一致评估设置下，对植物病理学中多预测方法进行实证基准研究的缺乏问题。
• 探究是否单一统一模型在植物识别与病害分类任务中，能在准确率、效率和内存使用方面优于独立模型。
• 提出并评估一种新型多输出深度学习架构 GSMo-CNN，通过堆叠和交叉连接预测头，以建模植物种类与病害之间的语义关系。
• 检验迁移学习与损失平衡在提升多样数据集（包含不同植物与病害类别）上性能的有效性。
• 证明 InceptionV3 作为主干卷积神经网络在多个基准数据集上对这一双重预测任务的优越性。

提出的方法

• 将现有深度学习方法分类为多模型、多标签、多输出和多任务框架，采用不同卷积神经网络主干网络。
• 提出 GSMo-CNN，一种多输出模型，通过堆叠两个预测头（植物与病害）并引入交叉连接：病害 → 植物 和 植物 → 病害。
• 引入一种损失函数，通过平衡权重（β₁:δ₁:β₂:δ₂ = 0.1:0.1:0.4:0.5）组合多个目标，以同时优化两个预测头。
• 通过使用 ImageNet 预训练权重初始化模型，特别是 InceptionV3，以提升泛化能力与收敛速度。
• 在三个基准数据集（Plant Village、Plant Leaves 和 PlantDoc）上，在统一实验设置下进行模型训练与评估。
• 使用 F1 分数与准确率作为评估指标，比较不同主干网络与训练策略下的性能表现。

实验结果

研究问题

• RQ1 使用单一统一深度学习模型进行植物识别与病害分类，是否在准确率、效率与内存使用方面优于独立模型？
• RQ2 在多输出卷积神经网络架构中，通过堆叠与交叉连接预测层，是否能提升联合植物与病害分类任务的性能？
• RQ3 哪种卷积神经网络主干网络（如 InceptionV3、ResNet101、EfficientNet）在基于叶片图像的植物病理学任务中表现最佳？
• RQ4 从 ImageNet 预训练进行迁移学习，在多大程度上能提升所提出的 GSMo-CNN 模型在不同数据集上的性能？
• RQ5 不同的损失函数权重组合在多输出学习任务中，对模型性能有何影响？

主要发现

• InceptionV3 在所有评估的主干网络中表现最佳，优于 AlexNet、VGG16、ResNet101、MobileNetV2、EfficientNet、ViT 和自定义 CNN，在三个基准数据集上均表现最优。
• 单一统一模型在植物识别与病害分类任务中，性能优于或等同于独立模型，在模型选择、内存使用与推理效率方面具有优势。
• 堆叠与交叉连接预测层在 12 项实验中的 9 项中提升了 F1 分数与准确率，尤其在使用平衡损失权重时效果更显著。
• 迁移学习显著提升了模型性能，尤其在 PlantDoc-0.2 与 PlantDoc-1.0 上表现突出，仅在 Plant Leaves 的病害分类任务中提升有限。
• 最优损失权重配置（β₁:δ₁:β₂:δ₂ = 0.1:0.1:0.4:0.5）在 12 项实验中的 9 项中提升了性能，证明了损失平衡在多输出学习中的价值。
• 所提出的 GSMo-CNN 在三个基准数据集（Plant Village、Plant Leaves 与 PlantDoc）上均达到了最先进性能，验证了其有效性与泛化能力。