[论文解读] deepNIR: Datasets for Generating Synthetic NIR Images and Improved Fruit Detection System Using Deep Learning Techniques

Inkyu Sa, Jong Yoon Lim+2 more|arXiv (Cornell University)|Jun 22, 2022

Smart Agriculture and AI参考文献 52被引用 28

一句话总结

本论文介绍了 deepNIR，这是一个公开可用的 RGB-NIR 图像配对数据集，包含来自商业农场及重新处理的公开数据集（nirscene、SEN12MS）的 161,500 对图像，可通过条件 GAN 实现高保真度的合成近红外（NIR）图像生成。该方法在 nirscene 子集上实现了 11.36 的 Frechet Inception Distance（FID）分数，并在 YOLOv5 上提升了果实检测性能，11 种果实类别中 mAP[0.5:0.95] 分数最高达到 0.812。

ABSTRACT

This paper presents datasets utilised for synthetic near-infrared (NIR) image generation and bounding-box level fruit detection systems. A high-quality dataset is one of the essential building blocks that can lead to success in model generalisation and the deployment of data-driven deep neural networks. In particular, synthetic data generation tasks often require more training samples than other supervised approaches. Therefore, in this paper, we share the NIR+RGB datasets that are re-processed from two public datasets (i.e., nirscene and SEN12MS), expanded our previous study, deepFruits, and our novel NIR+RGB sweet pepper (capsicum) dataset. We oversampled from the original nirscene dataset at 10, 100, 200, and 400 ratios that yielded a total of 127 k pairs of images. From the SEN12MS satellite multispectral dataset, we selected Summer (45 k) and All seasons (180k) subsets and applied a simple yet important conversion: digital number (DN) to pixel value conversion followed by image standardisation. Our sweet pepper dataset consists of 1615 pairs of NIR+RGB images that were collected from commercial farms. We quantitatively and qualitatively demonstrate that these NIR+RGB datasets are sufficient to be used for synthetic NIR image generation. We achieved Frechet inception distances (FIDs) of 11.36, 26.53, and 40.15 for nirscene1, SEN12MS, and sweet pepper datasets, respectively. In addition, we release manual annotations of 11 fruit bounding boxes that can be exported in various formats using cloud service. Four newly added fruits (blueberry, cherry, kiwi and wheat) compound 11 novel bounding box datasets on top of our previous work presented in the deepFruits project (apple, avocado, capsicum, mango, orange, rockmelon and strawberry). The total number of bounding box instances of the dataset is 162 k and it is ready to use from a cloud service. For the evaluation of the dataset, Yolov5 single stage detector is exploited and reported impressive mean-average-precision, mAP[0.5:0.95] results of min:0.49, max:0.812. We hope these datasets are useful and serve as a baseline for future studies.

研究动机与目标

• 解决用于农业领域训练合成 NIR 图像生成模型的高质量、公开可用的 RGB-NIR 配对数据集稀缺的问题。
• 通过在深度学习流程中引入合成 NIR 图像作为辅助输入，提升果实检测模型的性能。
• 通过添加蓝莓、樱桃、猕猴桃和小麦四种新果实类别，并提供精确的边界框标注，扩展 deepFruits 数据集。
• 为农业计算机视觉中的合成图像生成与目标检测提供可复现的、开放的基准。
• 通过使用经过筛选的、领域特定的数据集而非 COCO 或 ImageNet 等通用数据集，实现农业模型的领域特定预训练。

提出的方法

• 通过过采样（10 倍至 400 倍）和图像标准化（μ=0, σ=1）重新处理并扩展了两个公开数据集（nirscene 和 SEN12MS），以扩大训练数据规模。
• 从光照和辐射校准一致的商业农场中收集了全新的高质量甜椒（capsicum）数据集，包含 1,615 对 RGB-NIR 图像。
• 训练了一个条件生成对抗网络（cGAN），利用像素级损失和感知损失函数，学习从 RGB 到合成 NIR 图像的映射关系。
• 应用 Frechet Inception Distance（FID）度量，对生成的合成 NIR 图像的真实性进行定量评估。
• 使用 RGB 和合成 NIR 输入联合微调 YOLOv5 进行单阶段目标检测，通过 mAP[0.5:0.95] 和 mAP[0.5] 评估性能。
• 提供托管在云端、可导出的边界框标注，支持多种格式（如 COCO、YOLO），可直接用于下游任务。

实验结果

研究问题

• RQ1 通过深度学习从 RGB 输入生成的合成 NIR 图像是否能达到适用于农业应用的高感知保真度和统计保真度？
• RQ2 在真实农业环境中，将合成 NIR 图像引入是否能显著提升果实检测模型的性能？
• RQ3 训练数据集的规模和质量在多大程度上影响合成图像生成模型的泛化能力和性能？
• RQ4 与在 ImageNet 或 COCO 上进行的通用预训练相比，使用经过筛选的农业领域数据集进行领域特定预训练有何影响？
• RQ5 不同果实类型在合成 NIR 增强下，其 mAP 提升或下降情况如何？

主要发现

• deepNIR 数据集在 nirscene1 子集上的 FID 分数为 11.36，SEN12MS 上为 26.53，甜椒数据集上为 40.15，表明合成 NIR 图像具有高度的真实性。
• YOLOv5 检测器在扩展后的 deepFruits 数据集上实现了最高 0.812 的 mAP[0.5:0.95] 分数，表明在 11 种果实类别上均表现出强大的检测性能。
• 对于苹果检测，合成 NIR 输入使 mAP[0.5:0.95] 提升了 0.005，表明在某些情况下具有积极影响。
• 樱桃和猕猴桃检测性能分别下降了 0.03 和 0.09 的 mAP[0.5:0.95]，表明可能存在领域偏移或分布不匹配问题。
• 甜椒检测的 mAP[0.5:0.95] 略微下降 0.01，但 mAP[0.5] 上升 0.01，表明合成 NIR 可能有助于检测部分遮挡或阴影中的果实。
• 本研究表明，只有当测试分布与训练分布相似时，合成 NIR 生成才有效，凸显了在多样化真实世界条件下实现泛化的挑战。