[论文解读] LeafGAN: An Effective Data Augmentation Method for Practical Plant Disease Diagnosis

Quan Huu Cap, Hiroyuki Uga+2 more|arXiv (Cornell University)|Feb 24, 2020

Smart Agriculture and AI被引用 9

一句话总结

该论文提出LeafGAN，一种新颖的图像到图像翻译模型，采用自定义注意力机制，能够从健康叶片图像生成逼真且多样的病害叶片图像，用于数据增强。通过采用分割引导的方法，仅对叶片区域进行变换，LeafGAN相较于基线模型将植物病害分类准确率提升了7.4%，显著优于仅提升0.7%的普通CycleGAN。

ABSTRACT

Many applications for the automated diagnosis of plant disease have been developed based on the success of deep learning techniques. However, these applications often suffer from overfitting, and the diagnostic performance is drastically decreased when used on test datasets from new environments. In this paper, we propose LeafGAN, a novel image-to-image translation system with own attention mechanism. LeafGAN generates a wide variety of diseased images via transformation from healthy images, as a data augmentation tool for improving the performance of plant disease diagnosis. Thanks to its own attention mechanism, our model can transform only relevant areas from images with a variety of backgrounds, thus enriching the versatility of the training images. Experiments with five-class cucumber disease classification show that data augmentation with vanilla CycleGAN cannot help to improve the generalization, i.e., disease diagnostic performance increased by only 0.7% from the baseline. In contrast, LeafGAN boosted the diagnostic performance by 7.4%. We also visually confirmed the generated images by our LeafGAN were much better quality and more convincing than those generated by vanilla CycleGAN. The code is available publicly at: https://github.com/IyatomiLab/LeafGAN.

研究动机与目标

• 解决在有限、实验室采集的数据集上训练的植物病害诊断模型面临的过拟合和泛化能力差的关键挑战。
• 提升模型在具有复杂背景和多种条件的现实世界田间采集图像上部署时的鲁棒性。
• 开发一种数据增强方法，能够生成高质量、逼真的病害叶片图像，同时保留背景和光照的自然变化。
• 克服标准CycleGAN的局限性，后者会整体变换图像（包括背景），导致输出不真实且性能提升微乎其微。

提出的方法

• 提出一种基于条件生成对抗网络（cGANs）的新型图像到图像翻译框架LeafGAN，专为植物病害数据增强而设计。
• 引入一个自定义的分割模块LFLSeg，用于从输入图像中识别并分离出叶片区域，实现仅对叶片区域进行变换。
• 在分割头中设计一个“部分叶片”类别，以提升在非完整可见或裁剪后的叶片图像处理中的鲁棒性。
• 应用一种注意力机制，引导生成器在图像翻译过程中聚焦于叶片区域，最大限度减少背景内容的干扰。
• 使用循环一致性损失和对抗性损失进行模型训练，确保图像翻译的真实性，同时保持结构和语义的一致性。
• 将生成的图像用作增强后的训练数据，微调植物病害分类器，从而提升其在未见的真实世界测试集上的泛化能力。

实验结果

研究问题

• RQ1 基于GAN的数据增强方法是否能显著提升植物病害分类模型在真实世界田间采集图像上的泛化性能？
• RQ2 通过分割仅对叶片区域进行图像翻译，是否能生成比全图翻译更逼真、更有效的增强训练数据？
• RQ3 使用LeafGAN生成图像训练的病害分类器，其性能与使用普通CycleGAN生成图像或基线数据训练的模型相比如何？
• RQ4 LeafGAN中的注意力机制在多大程度上减少了背景伪影对生成图像的影响，从而改善诊断特征的学习？

主要发现

• LeafGAN在未见的测试数据集（数据集B）上将植物病害分类准确率提升了7.4%，显著增强了模型的泛化性能。
• 相比之下，使用普通CycleGAN进行数据增强仅使准确率比基线提升0.7%，表明由于背景变换不真实，收益微乎其微。
• 视觉检查确认，LeafGAN生成的图像比CycleGAN生成的图像更逼真、更具说服力，病害症状仅出现在叶片上，而不在背景中。
• LFLSeg分割模块的集成显著提升了生成图像的质量和相关性，通过将病害模拟限制在叶片区域。
• LeafGAN中的注意力机制成功引导生成器聚焦于生物上相关的特征，减少了对背景线索的错误依赖。
• 尽管有所改进，但LeafGAN和CycleGAN在某些情况下仍会将颜色变化误判为病害症状，尤其当训练数据缺乏晚期病害样本时。