[論文レビュー] PotatoGANs: Utilizing Generative Adversarial Networks, Instance Segmentation, and Explainable AI for Enhanced Potato Disease Identification and Classification

Fatema Tuj Johora Faria, Mukaffi Bin Moin+4 more|arXiv (Cornell University)|May 12, 2024

Smart Agriculture and AI被引用数 5

ひとこと要約

PotatoGANsはCycleGANとPix2Pixを用いて健康なポテト画像から病気のポテト画像を生成し、病害検知のデータを拡張し、XAIを複数のCNNと組み合わせて解釈性を向上させ、Detectron2を用いたインスタンス分割を実施します。Inception Scoreで画像品質が向上し、Detectron2でDiceスコアが0.8112を記録しました。

ABSTRACT

Numerous applications have resulted from the automation of agricultural disease segmentation using deep learning techniques. However, when applied to new conditions, these applications frequently face the difficulty of overfitting, resulting in lower segmentation performance. In the context of potato farming, where diseases have a large influence on yields, it is critical for the agricultural economy to quickly and properly identify these diseases. Traditional data augmentation approaches, such as rotation, flip, and translation, have limitations and frequently fail to provide strong generalization results. To address these issues, our research employs a novel approach termed as PotatoGANs. In this novel data augmentation approach, two types of Generative Adversarial Networks (GANs) are utilized to generate synthetic potato disease images from healthy potato images. This approach not only expands the dataset but also adds variety, which helps to enhance model generalization. Using the Inception score as a measure, our experiments show the better quality and realisticness of the images created by PotatoGANs, emphasizing their capacity to resemble real disease images closely. The CycleGAN model outperforms the Pix2Pix GAN model in terms of image quality, as evidenced by its higher IS scores CycleGAN achieves higher Inception scores (IS) of 1.2001 and 1.0900 for black scurf and common scab, respectively. This synthetic data can significantly improve the training of large neural networks. It also reduces data collection costs while enhancing data diversity and generalization capabilities. Our work improves interpretability by combining three gradient-based Explainable AI algorithms (GradCAM, GradCAM++, and ScoreCAM) with three distinct CNN architectures (DenseNet169, Resnet152 V2, InceptionResNet V2) for potato disease classification.

研究の動機と目的

• 新しい条件下でのポテト病害セグメンテーションの過適合と低い一般化性能に対処する。
• 健康なポテト画像から現実的な病気画像を合成するGANベースのデータ拡張パイプラインを開発する。
• GradCAM、GradCAM++、ScoreCAMを複数のCNNアーキテクチャと組み合わせて分類の解釈性を向上させる。
• Detectron2を活用してポテト病害のセグメンテーションと局在を改善する。

提案手法

• データ拡張のために、CycleGANとPix2Pixを用いて健康なポテト画像を病変画像に変換する。
• Bangladesh Agricultural Research Institute (BARI) によって検証された、生成画像と手動でアノテーションされた画像を含むデータセットを作成する。
• Fréchet Inception Distance（FID）とInception Scoreを用いて生成画像の品質を評価する。
• 解釈可能な病害分類のために、DenseNet169、ResNet152V2、InceptionResNetV2とともにGradCAM、GradCAM++、ScoreCAMを組み合わせる。
• ResNeXt-101バックボーンを用いたDetectron2を適用し、インスタンス分割を行いDiceおよびIoU指標を報告する。

Figure 1: Visual Diagram of our Proposed Potato Disease Image Generation and Disease Segmentation System, meticulously designed to capture and transform specific regions, providing a comprehensive grasp of the dynamic process from the creation of images to the accurate segmentation of diseases

実験結果

リサーチクエスチョン

• RQ1 GANベースの画像生成は、ポテト病害分類と局在の一般化を改善できるか？
• RQ2 XAI手法は、ポテト病害に対するCNN分類器の意思決定をどのように可視化・検証するか？
• RQ3 生成データ上で、Detectron2ベースのインスタンス分割は病害の局在精度を高めるか？
• RQ4 統合されたXAIアプローチで、ポテト病害分類に最も利益を受けるCNNアーキテクチャはどれか？

主な発見

• Black Scurf（IS=1.2001）およびCommon Scab（IS=1.0900）において、Inception ScoreでCycleGANがPix2Pixを上回る画像品質を示した。
• 生成された合成データは大規模ニューラルネットワークの学習を改善し、データ収集コストを削減する。
• ResNeXt-101バックボーンを用いたDetectron2のDiceスコアは0.8112に達する。
• GradCAM、GradCAM++、ScoreCAMという3つの勾配ベースのXAI手法を、DenseNet169、ResNet152V2、InceptionResNetV2の3つのCNNと組み合わせることで、モデル決定の解釈性をより深く得られる。
• 生成と分割を含む拡張データセットは、ジャガイモ作物の病害識別と局在の改善を支援する。

Figure 2: Visual Representation of Generated Realistic Potato Disease Images