[论文解读] Cashew dataset generation using augmentation and RaLSGAN and a transfer learning based tinyML approach towards disease detection

Varsha Jayaprakash, K. R. Akilesh+3 more|arXiv (Cornell University)|Apr 18, 2023

Smart Agriculture and AIAgricultural and Biological Sciences被引用 3

一句话总结

本文提出了一种新型的、经过增强的腰果叶和果实数据集，通过光照/几何增强以及RaLSGAN技术，解决了疾病检测中的数据稀缺问题。该研究采用迁移学习结合MobileNet与Inception模型，并通过TensorFlow Lite进行优化，实现在无人机等资源受限设备上的tinyML部署，实现了高达99%的准确率，同时显著降低内存占用与延迟，适用于实时、资源受限的应用场景。

ABSTRACT

Cashew is one of the most extensively consumed nuts in the world, and it is also known as a cash crop. A tree may generate a substantial yield in a few months and has a lifetime of around 70 to 80 years. Yet, in addition to the benefits, there are certain constraints to its cultivation. With the exception of parasites and algae, anthracnose is the most common disease affecting trees. When it comes to cashew, the dense structure of the tree makes it difficult to diagnose the disease with ease compared to short crops. Hence, we present a dataset that exclusively consists of healthy and diseased cashew leaves and fruits. The dataset is authenticated by adding RGB color transformation to highlight diseased regions, photometric and geometric augmentations, and RaLSGAN to enlarge the initial collection of images and boost performance in real-time situations when working with a constrained dataset. Further, transfer learning is used to test the classification efficiency of the dataset using algorithms such as MobileNet and Inception. TensorFlow lite is utilized to develop these algorithms for disease diagnosis utilizing drones in real-time. Several post-training optimization strategies are utilized, and their memory size is compared. They have proven their effectiveness by delivering high accuracy (up to 99%) and a decrease in memory and latency, making them ideal for use in applications with limited resources.

研究动机与目标

• 解决腰果病害检测中受限且不平衡的数据集挑战，特别是针对树冠密集的树木。
• 利用RGB色彩变换生成高质量、真实的健康与病害腰果叶和果实数据集，以增强病灶区域的可见性。
• 通过结合光度与几何增强技术扩大数据集多样性与规模，提升模型泛化能力。
• 通过在资源受限平台（如无人机）上部署优化后的深度学习模型，实现在野外条件下实时、本地化的病害检测。
• 通过训练后量化与模型压缩技术优化推理性能，实现最小内存占用与延迟。

提出的方法

• 应用RGB色彩变换以突出腰果叶和果实图像中病灶区域，提升视觉区分度。
• 采用光度与几何数据增强技术，提升数据集多样性，并增强对光照与方向变化的鲁棒性。
• 利用RaLSGAN（相对平均最小二乘生成对抗网络）生成合成图像，扩充初始数据集，缓解数据稀缺问题。
• 在增强后的数据集上，使用MobileNet与Inception架构进行迁移学习，训练并评估深度学习模型。
• 通过TensorFlow Lite将训练好的模型部署到边缘设备，应用训练后量化与优化技术，减小模型尺寸并降低推理延迟。
• 对比多种优化后模型变体的内存占用与推理延迟，识别出最高效的部署配置。

实验结果

研究问题

• RQ1 数据增强与基于GAN的合成方法是否能显著提升小规模真实世界腰果病害数据集的质量与多样性？
• RQ2 使用MobileNet与Inception进行迁移学习在增强后的腰果数据集上能否显著提升分类准确率？
• RQ3 训练后量化与优化技术在降低边缘设备部署模型尺寸与延迟方面效果如何？
• RQ4 优化后的模型是否能在低功耗设备（如无人机）上实现高准确率的同时支持实时推理？
• RQ5 在设备端腰果病害检测中，模型准确率、内存占用与推理速度之间应如何实现最优平衡？

主要发现

• 所提出的数据集增强与基于RaLSGAN的数据生成方法显著提升了模型在真实世界腰果病害图像上的泛化能力与鲁棒性。
• 采用MobileNet与Inception的迁移学习在增强后的数据集上实现了高达99%的分类准确率，表现出卓越性能。
• 训练后量化显著减少了模型尺寸与推理延迟，使其适用于内存受限的边缘设备部署。
• 优化后的模型在极低内存开销下仍保持高准确率，实现了无人机上的实时病害检测。
• 数据增强、基于GAN的合成与模型优化相结合，构建出可部署、高效且准确的tinyML农业监测流水线。
• 最终优化模型在内存占用与延迟方面均实现显著降低，证实其在精准农业边缘应用中的可行性。