[논문 리뷰] LeafGAN: An Effective Data Augmentation Method for Practical Plant Disease Diagnosis

Quan Huu Cap, Hiroyuki Uga외 2명|arXiv (Cornell University)|2020. 02. 24.

Smart Agriculture and AI인용 수 9

한 줄 요약

이 논문은 건강한 잎에서 병변이 있는 식물 잎 이미지를 현실적으로, 다양하게 생성할 수 있는 맞춤형 주의 메커니즘을 갖춘 새로운 이미지 간 번역 모델인 LeafGAN을 제안한다. 세그멘테이션 유도 방식을 통해 번역을 오직 잎 영역에 집중시킴으로써, 기준 모델 대비 식물 병해 진단 정확도를 7.4% 향상시켰으며, 이는 표준 CycleGAN보다 유의하게 뛰어난 성능 향상이다. 표준 CycleGAN의 경우 정확도 향상 폭이 0.7%에 그쳤다.

ABSTRACT

Many applications for the automated diagnosis of plant disease have been developed based on the success of deep learning techniques. However, these applications often suffer from overfitting, and the diagnostic performance is drastically decreased when used on test datasets from new environments. In this paper, we propose LeafGAN, a novel image-to-image translation system with own attention mechanism. LeafGAN generates a wide variety of diseased images via transformation from healthy images, as a data augmentation tool for improving the performance of plant disease diagnosis. Thanks to its own attention mechanism, our model can transform only relevant areas from images with a variety of backgrounds, thus enriching the versatility of the training images. Experiments with five-class cucumber disease classification show that data augmentation with vanilla CycleGAN cannot help to improve the generalization, i.e., disease diagnostic performance increased by only 0.7% from the baseline. In contrast, LeafGAN boosted the diagnostic performance by 7.4%. We also visually confirmed the generated images by our LeafGAN were much better quality and more convincing than those generated by vanilla CycleGAN. The code is available publicly at: https://github.com/IyatomiLab/LeafGAN.

연구 동기 및 목표

• 제한된 실험실 촬영 데이터셋으로 훈련된 식물 병해 진단 모델에서 과적합 및 일반화 부족 문제를 해결한다.
• 복잡한 배경과 다양한 조건을 가진 실외에서 수집된 이미지에 배포될 때 모델의 강건성을 향상시킨다.
• 배경 및 조명 조건의 자연스러운 다양성을 유지하면서도 고품질의 현실적인 병변 잎 이미지를 생성할 수 있는 데이터 증강 방법을 개발한다.
• 전체 이미지(배경 포함)를 변환하는 표준 CycleGAN의 한계를 극복한다. 이는 비현실적인 출력과 최소한의 성능 향상으로 이어진다.

제안 방법

• 식물 병해 데이터 증강에 특화된 조건부 생성 적대적 네트워크(cGANs) 기반의 새로운 이미지 간 번역 프레임워크인 LeafGAN을 도입한다.
• 입력 이미지에서 잎 영역을 식별하고 분리하기 위해 고유의 세그멘테이션 모듈인 LFLSeg를 통합하여 번역을 오직 잎 영역에 집중시킨다.
• 완전히 노출되지 않거나 잘린 잎 이미지와 같은 상황에서도 강건성을 높이기 위해 세그멘테이션 헤드에 부분 잎 클래스를 도입한다.
• 이미지 번역 과정에서 생성자에게 잎 영역에만 집중하도록 유도하기 위해 주의 메커니즘을 적용한다. 이는 배경 콘텐츠의 간섭을 최소화한다.
• 사이클 일致성 손실 및 적대적 손실을 사용해 모델을 훈련함으로써, 현실적인 이미지 번역과 함께 구조적·의미적 충실도를 유지한다.
• 생성된 이미지를 증강된 훈련 데이터로 사용하여 식물 병해 분류기를 미세 조정함으로써, 새로운 실외 테스트 세트에서의 일반화 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 GAN 기반의 데이터 증강 방법이 실외에서 수집된 이미지에 대해 식물 병해 진단 모델의 일반화 성능을 크게 향상시킬 수 있는가?
• RQ2 세그멘테이션을 통해 번역을 오직 잎 영역에만 집중시킬 경우, 전체 이미지 번역 대비 더 현실적이고 효과적인 증강 훈련 데이터를 제공하는가?
• RQ3 LeafGAN이 생성한 이미지로 훈련된 병해 분류기의 성능은 표준 CycleGAN가 생성한 이미지나 기준 데이터로 훈련된 경우와 비교해 어떻게 다른가?
• RQ4 LeafGAN의 주의 메커니즘이 생성된 이미지에서 배경 잡음의 영향을 어느 정도 줄여주며, 진단 특징 학습을 향상시키는가?

주요 결과

• LeafGAN은 테스트 세트 B(미사용된 테스트 데이터셋)에서 식물 병해 진단 정확도를 7.4% 향상시켜 일반화 성능 향상이 뚜렷하게 입증되었다.
• 반면, 표준 CycleGAN를 사용한 데이터 증강은 기준 모델 대비 정확도 향상 폭이 0.7%에 그쳐, 비현실적인 배경 변환으로 인해 실익은 성능 향상이 없음을 시사한다.
• 시각적 검토 결과, LeafGAN가 생성한 이미지는 CycleGAN의 결과보다 더 현실적이며 신뢰감이 있으며, 병변 증상이 배경이 아닌 오직 잎에만 국한되어 있음을 확인했다.
• LFLSeg 세그멘테이션 모듈의 통합은 병변 시뮬레이션을 잎 영역에만 제한함으로써 생성된 이미지의 품질과 관련성을 크게 향상시켰다.
• LeafGAN의 주의 메커니즘은 생성자에게 생물학적으로 관련된 특징에만 집중하도록 유도하여 배경 정보에 대한 부적절한 의존도를 줄였다.
• 다른 한편으로는, LeafGAN과 CycleGAN 모두 일부 경우에 훈련 데이터에 늦은 단계의 병변 예제가 부족할 경우 색소실 변화를 병변 증상으로 잘못 분류하는 경우가 있었다.