[論文レビュー] Deep Learning for Plant Identification and Disease Classification from Leaf Images: Multi-prediction Approaches

Jianping Yao, Son N. Tran+2 more|arXiv (Cornell University)|Oct 25, 2023

Smart Agriculture and AI被引用数 5

ひとこと要約

本稿では、マルチ予測戦略と転移学習を活用し、リーフ画像からの植物同定と病気分類を統合的に実行する新規な一般化スタッキング・マルチアウトプット CNN（GSMo-CNN）を提案する。広範な実験において、InceptionV3が複数のバックボーンネットワークを上回り、単一の統合モデルが別々のモデルを上回る性能を示した。GSMo-CNNは3つのベンチマークデータセットにおいて最先端の結果を達成した。

ABSTRACT

Deep learning plays an important role in modern agriculture, especially in plant pathology using leaf images where convolutional neural networks (CNN) are attracting a lot of attention. While numerous reviews have explored the applications of deep learning within this research domain, there remains a notable absence of an empirical study to offer insightful comparisons due to the employment of varied datasets in the evaluation. Furthermore, a majority of these approaches tend to address the problem as a singular prediction task, overlooking the multifaceted nature of predicting various aspects of plant species and disease types. Lastly, there is an evident need for a more profound consideration of the semantic relationships that underlie plant species and disease types. In this paper, we start our study by surveying current deep learning approaches for plant identification and disease classification. We categorise the approaches into multi-model, multi-label, multi-output, and multi-task, in which different backbone CNNs can be employed. Furthermore, based on the survey of existing approaches in plant pathology and the study of available approaches in machine learning, we propose a new model named Generalised Stacking Multi-output CNN (GSMo-CNN). To investigate the effectiveness of different backbone CNNs and learning approaches, we conduct an intensive experiment on three benchmark datasets Plant Village, Plant Leaves, and PlantDoc. The experimental results demonstrate that InceptionV3 can be a good choice for a backbone CNN as its performance is better than AlexNet, VGG16, ResNet101, EfficientNet, MobileNet, and a custom CNN developed by us. Interestingly, empirical results support the hypothesis that using a single model can be comparable or better than using two models. Finally, we show that the proposed GSMo-CNN achieves state-of-the-art performance on three benchmark datasets.

研究の動機と目的

• 一貫した評価設定のもとで、植物病理学分野におけるマルチ予測アプローチを比較する実証的ベンチマーク研究の不足を解消すること。
• 植物同定と病気分類の両方を1つの統合モデルで行うことで、精度、効率性、メモリ使用量の観点から別々のモデルを上回る可能性を調査すること。
• 植物種と病気の間の意味的関係をモデル化できるように、予測ヘッドをスタックし、相互接続する新しいマルチアウトプット深層学習アーキテクチャ、GSMo-CNNを提案・評価すること。
• 異なる植物および病気のカテゴリ数を有する多様なデータセットにおいて、転移学習と損失バランスの有効性を検証すること。
• 複数のベンチマークデータセットにわたるこの二重予測タスクにおいて、InceptionV3がバックボーンCNNとして優れた性能を示すことを実証すること。

提案手法

• 異なるCNNバックボーンを用いた、マルチモデル、マルチラベル、マルチアウトプット、マルチタスクフレームワークに分類された既存の深層学習手法を整理する。
• 2つの予測ヘッド（植物・病気）をスタックし、病気→植物および植物→病気の方向に相互接続を行うことで、予測ヘッドを接続するマルチアウトプットモデル、GSMo-CNNを提案する。
• バランス重み（β₁:δ₁:β₂:δ₂ = 0.1:0.1:0.4:0.5）を用いて複数の目的を統合した損失関数を導入し、両方の予測ヘッドを同時に最適化する。
• 特にInceptionV3においては、ImageNetで事前学習された重みで初期化することで、一般化性能と収束性を向上させる転移学習を適用する。
• 一貫した実験設定のもとで、3つのベンチマークデータセット（Plant Village、Plant Leaves、PlantDoc）に対してモデルを学習・評価する。
• 評価指標としてF1スコアと正答率を用い、異なるバックボーンおよび学習戦略における性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 植物同定と病気分類の両方を1つの統合ディープラーニングモデルで行うことで、別々のモデルに比べ、精度、効率性、メモリ使用量において優れた性能を発揮するか？
• RQ2 マルチアウトプットCNNアーキテクチャにおいて、予測ヘッドをスタックし、相互接続することで、植物および病気分類タスクの性能が向上するか？
• RQ3 畳み込みニューラルネットワークのバックボーン（例：InceptionV3、ResNet101、EfficientNet）の中で、リーフ画像を用いた植物病理学タスクにおいて最も優れた性能を示すのはどれか？
• RQ4 ImageNetでの事前学習からの転移学習が、異なるデータセットにおいて提案されたGSMo-CNNモデルの性能をどの程度向上させるか？
• RQ5 異なる損失関数重みの組み合わせが、二重予測タスクにおけるモデルの性能に与える影響はいかほどか？

主な発見

• InceptionV3は、すべての評価済みバックボーン（AlexNet、VGG16、ResNet101、MobileNetV2、EfficientNet、ViT、およびカスタムCNN）の中で、3つのベンチマークデータセットすべてで最高の性能を示した。
• 植物同定と病気分類の両方を1つの統合モデルで行うことで、別々のモデルと同等または優れた性能を達成し、モデル選定、メモリ使用量、推論効率の観点で利点を示した。
• 予測ヘッドのスタッキングと相互接続により、12件の実験のうち9件でF1スコアと正答率が向上し、特に損失重みをバランスさせた場合に顕著であった。
• 転移学習はモデル性能を顕著に向上させ、特にPlantDoc-0.2およびPlantDoc-1.0では大きな性能差を示したが、Plant Leavesにおける病気分類では効果が限定的であった。
• 最適な損失重み設定（β₁:δ₁:β₂:δ₂ = 0.1:0.1:0.4:0.5）は、12件の実験のうち9件で性能向上をもたらし、マルチアウトプット学習における損失バランスの価値を示した。
• 提案されたGSMo-CNNは、Plant Village、Plant Leaves、PlantDocの3つのベンチマークデータセットすべてで最先端の性能を達成した。これにより、その有効性と一般化能力が検証された。