[论文解读] Deep Learning Pipeline for Automated Visual Moth Monitoring: Insect Localization and Species Classification

Dimitri Korsch, Paul Bodesheim+1 more|arXiv (Cornell University)|Jan 1, 2021

Species Distribution and Climate Change被引用 10

一句话总结

本文提出了一种基于深度学习的自动化视觉监测流水线，用于200种中欧蛾类的监测，采用蛾类扫描仪进行图像采集。该方法结合了单阶段多框检测器（SSD）进行昆虫定位，以及经过微调的卷积神经网络（CNN）与无监督部件估计方法进行物种分类，将未裁剪扫描图像上的整体分类准确率从79.62%提升至88.05%。

ABSTRACT

Biodiversity monitoring is crucial for tracking and counteracting adverse trends in population fluctuations. However, automatic recognition systems are rarely applied so far, and experts evaluate the generated data masses manually. Especially the support of deep learning methods for visual monitoring is not yet established in biodiversity research, compared to other areas like advertising or entertainment. In this paper, we present a deep learning pipeline for analyzing images captured by a moth scanner, an automated visual monitoring system of moth species developed within the AMMOD project. We first localize individuals with a moth detector and afterward determine the species of detected insects with a classifier. Our detector achieves up to 99.01% mean average precision and our classifier distinguishes 200 moth species with an accuracy of 93.13% on image cutouts depicting single insects. Combining both in our pipeline improves the accuracy for species identification in images of the moth scanner from 79.62% to 88.05%.

研究动机与目标

• 解决生物多样性研究中人工昆虫监测工作量大的挑战。
• 开发一种基于深度学习的自动化视觉蛾类监测流水线，以减少对专家人力的依赖。
• 提升在真实图像中物种分类的准确性，尤其针对多只蛾类共存及小物体尺度常见的场景。
• 评估不同训练策略、预训练数据集以及基于部件的建模对分类性能的影响。
• 展示两阶段流水线（检测与分类结合）在生态监测系统实际部署中的有效性。

提出的方法

• 采用单阶段多框检测器（SSD）进行目标定位，训练数据为AMMOD蛾类扫描仪拍摄的自定义蛾类图像数据集。
• 使用交并比（IoU）阈值为0.5和0.75的平均精度均值（mAP）评估检测性能。
• 在单个蛾类的裁剪图像上训练卷积神经网络（CNN）进行物种分类，采用ImageNet和iNaturalist预训练模型进行迁移学习。
• 实施一种微调策略，选择性冻结特征提取器或对整个网络进行微调。
• 在分类器中集成无监督部件估计模块，以提升特征表示能力和泛化性能。
• 将训练好的检测器与分类器整合为流水线，先通过检测定位蛾类，再对每张未裁剪扫描图像中检测到的昆虫进行分类。

实验结果

研究问题

• RQ1 基于深度学习的物体检测器是否能在真实世界、杂乱的扫描图像中实现高mAP的蛾类定位？
• RQ2 选择不同的预训练数据集（ImageNet与iNaturalist）对单个蛾类图像的物种分类准确率有何影响？
• RQ3 与仅微调最后全连接层相比，对整个CNN进行微调能在多大程度上提升分类性能？
• RQ4 引入无监督部件估计是否能提升分类准确率，特别是在困难或稀有物种上？
• RQ5 与直接对完整图像进行分类相比，前置检测步骤在未裁剪、多只蛾类图像上的分类准确率提升程度如何？

主要发现

• 基于SSD的蛾类检测器在测试集上达到mAP@0.5为99.01%，mAP@0.75为88.88%。
• 当在iNaturalist上预训练并使用无监督部件估计进行微调时，CNN分类器的准确率达到93.13%。
• 与仅使用特征提取器相比，对整个CNN进行微调使分类准确率提升了26%。
• 与在ImageNet上预训练相比，在iNaturalist上预训练使全网络微调后的分类准确率提高约4%。
• 在iNaturalist预训练的基础上，集成无监督部件估计使分类准确率提升2.6个百分点。
• 完整流水线将未裁剪扫描图像的分类准确率从仅使用分类器的79.62%提升至88.05%（检测器+分类器），证明了在复杂场景中定位步骤的价值。