[논문 리뷰] PotatoGANs: Utilizing Generative Adversarial Networks, Instance Segmentation, and Explainable AI for Enhanced Potato Disease Identification and Classification

Fatema Tuj Johora Faria, Mukaffi Bin Moin외 4명|arXiv (Cornell University)|2024. 05. 12.

Smart Agriculture and AI인용 수 5

한 줄 요약

PotatoGANs는 CycleGAN과 Pix2Pix를 사용하여 건강한 감자 이미지를 질병이 있는 이미지로 생성하고, 데이터 증강으로 감자 질병 탐지 향상을 도모하며, XAI를 다중 CNN과 결합하여 해석 가능성을 확보하고, Detectron2를 인스턴스 분할에 활용합니다. Inception Score로 이미지 품질이 개선되었고 Detectron2를 활용한 Dice 점수는 0.8112입니다.

ABSTRACT

Numerous applications have resulted from the automation of agricultural disease segmentation using deep learning techniques. However, when applied to new conditions, these applications frequently face the difficulty of overfitting, resulting in lower segmentation performance. In the context of potato farming, where diseases have a large influence on yields, it is critical for the agricultural economy to quickly and properly identify these diseases. Traditional data augmentation approaches, such as rotation, flip, and translation, have limitations and frequently fail to provide strong generalization results. To address these issues, our research employs a novel approach termed as PotatoGANs. In this novel data augmentation approach, two types of Generative Adversarial Networks (GANs) are utilized to generate synthetic potato disease images from healthy potato images. This approach not only expands the dataset but also adds variety, which helps to enhance model generalization. Using the Inception score as a measure, our experiments show the better quality and realisticness of the images created by PotatoGANs, emphasizing their capacity to resemble real disease images closely. The CycleGAN model outperforms the Pix2Pix GAN model in terms of image quality, as evidenced by its higher IS scores CycleGAN achieves higher Inception scores (IS) of 1.2001 and 1.0900 for black scurf and common scab, respectively. This synthetic data can significantly improve the training of large neural networks. It also reduces data collection costs while enhancing data diversity and generalization capabilities. Our work improves interpretability by combining three gradient-based Explainable AI algorithms (GradCAM, GradCAM++, and ScoreCAM) with three distinct CNN architectures (DenseNet169, Resnet152 V2, InceptionResNet V2) for potato disease classification.

연구 동기 및 목표

• 새로운 조건에서 감자 질병 분할의 과적합 및 일반화 저하를 해결합니다.
• 건강한 감자 이미지를 질병 상태의 현실적인 이미지로 합성하는 GAN 기반 데이터 증강 파이프라인을 개발합니다.
• 다양한 CNN 아키텍처와 함께 GradCAM, GradCAM++, ScoreCAM을 결합하여 분류의 해석 가능성을 향상합니다.
• Detectron2를 활용하여 감자 질병 분할 및 위치 지정을 개선합니다.

제안 방법

• CycleGAN과 Pix2Pix를 사용하여 건강한 감자 이미지를 질병 상태의 상대물로 변환하여 데이터 증강에 활용합니다.
• Bangladesh Agricultural Research Institute(BARI)가 검토한 생성 이미지 및 수동 주석 이미지로 구성된 데이터셋을 만듭니다.
• Fréchet Inception Distance와 Inception Score로 생성 이미지 품질을 평가합니다.
• GradCAM, GradCAM++, ScoreCAM을 DenseNet169, ResNet152 V2, InceptionResNet V2와 결합하여 해석 가능한 질병 분류를 수행합니다.
• ResNeXt-101 백본을 사용하는 Detectron2를 적용하여 인스턴스 분할을 수행하고 Dice 및 IoU 지표를 보고합니다.

Figure 1: Visual Diagram of our Proposed Potato Disease Image Generation and Disease Segmentation System, meticulously designed to capture and transform specific regions, providing a comprehensive grasp of the dynamic process from the creation of images to the accurate segmentation of diseases

실험 결과

연구 질문

• RQ1 GAN 기반 이미지 생성이 감자 질병 분류 및 위치 지정의 일반화를 향상시킬 수 있는가?
• RQ2 XAI 방법이 감자 질병에 대한 CNN 분류기의 의사결정을 어떻게 시각화하고 검증하는가?
• RQ3 Detectron2 기반의 인스턴스 분할이 생성된 데이터에서 질병 위치 지정 정확도를 향상시키는가?
• RQ4 어떤 CNN 아키텍처가 통합된 XAI 접근법으로부터 가장 큰 이점을 얻는가?

주요 결과

• CycleGAN은 Black Scurf(IS=1.2001) 및 Common Scab(IS=1.0900)에서 이미지 품질 측면에서 Pix2Pix보다 우수합니다.
• 생성된 합성 데이터는 대형 신경망의 학습을 개선하고 데이터 수집 비용을 줄여줍니다.
• ResNeXt-101 백본을 사용하는 Detectron2의 Dice 점수는 0.8112에 도달합니다.
• 세 가지 그래디언트 기반 XAI 방법(GradCAM, GradCAM++, ScoreCAM)과 세 가지 CNN(DenseNet169, ResNet152V2, InceptionResNetV2)가 결합되어 모델 의사결정의 해석 가능성이 더 깊어집니다.
• 생성 및 분할이 포함된 확장된 데이터셋은 감자 작물의 질병 식별 및 위치 지정 개선을 뒷받침합니다.

Figure 2: Visual Representation of Generated Realistic Potato Disease Images