[论文解读] Automated Visual Monitoring of Nocturnal Insects with Light-based Camera Traps

Dimitri Korsch, Paul Bodesheim+2 more|arXiv (Cornell University)|Jul 28, 2023

Species Distribution and Climate Change被引用 5

一句话总结

本文提出了一种基于光的相机陷阱系统——'飞蛾扫描仪'，用于在中欧地区对夜间活动的昆虫进行自动化视觉监测。该研究引入了两个数据集——EU-Moths（通过人工采集并附有物种注释）和NID（来自自动捕获的27,000多张图像），并建立了目标检测与分类的基线模型，在NID数据集上实现了91.21%的mAP@0.50，尽管面临昆虫体型微小和图像杂乱等挑战。

ABSTRACT

Automatic camera-assisted monitoring of insects for abundance estimations is crucial to understand and counteract ongoing insect decline. In this paper, we present two datasets of nocturnal insects, especially moths as a subset of Lepidoptera, photographed in Central Europe. One of the datasets, the EU-Moths dataset, was captured manually by citizen scientists and contains species annotations for 200 different species and bounding box annotations for those. We used this dataset to develop and evaluate a two-stage pipeline for insect detection and moth species classification in previous work. We further introduce a prototype for an automated visual monitoring system. This prototype produced the second dataset consisting of more than 27,000 images captured on 95 nights. For evaluation and bootstrapping purposes, we annotated a subset of the images with bounding boxes enframing nocturnal insects. Finally, we present first detection and classification baselines for these datasets and encourage other scientists to use this publicly available data.

研究动机与目标

• 开发一种自动化、非侵入性的系统，用于在自然环境中大规模监测夜间活动的昆虫，特别是飞蛾。
• 通过计算机视觉技术实现高通量、可扩展的视觉监测，以应对昆虫种群数量下降的挑战。
• 创建公开可用的高质量数据集，用于生态监测背景下细粒度的物种识别。
• 评估检测与分类模型在真实世界自动相机陷阱数据与人工采集图像上的性能表现。
• 探索在计算与能源资源受限的野外部署中，于边缘设备上部署轻量化检测模型进行本地昆虫检测的可行性。

提出的方法

• 部署了一个名为'飞蛾扫描仪'的原型设备，配备紫外LED灯和高分辨率摄像头，每两分钟捕获一次被吸引至白色平面表面的飞蛾图像。
• 在95个夜晚内收集了超过27,000张图像，形成了NID数据集，记录了在自然、非受控环境下的昆虫活动。
• 对NID数据集中的部分图像进行了边界框标注，以实现目标检测的监督训练与评估。
• 开发了一个两阶段流程，结合目标检测（SSD）与基于深度神经网络的细粒度物种分类。
• 采用ImageNet和iNaturalist的预训练权重进行迁移学习，并探索基于部件的特征提取方法以提升分类准确率。
• 使用mAP@0.50和mAP@0.75评估模型性能，并通过IoU阈值分析在不同重叠程度下的检测精度。

实验结果

研究问题

• RQ1 最先进目标检测模型在复杂背景的自动相机陷阱图像中，对体型微小、种类多样的夜间昆虫的定位效果如何？
• RQ2 在人工采集图像（EU-Moths）上训练的检测与分类模型，与在自动部署的野外相机陷阱数据（NID）上训练的模型之间，性能差距有多大？
• RQ3 在昆虫相关数据集上进行预训练，能在多大程度上提升细粒度识别任务中的物种分类准确率？
• RQ4 图像层面的挑战（如运动模糊、遮挡、小目标尺寸）对真实世界相机陷阱数据中检测与分类性能的影响如何？
• RQ5 在生态监测系统中，计算与能源资源受限的边缘设备上部署深度学习模型的实际限制是什么？

主要发现

• SSD检测器在NID数据集上实现了91.21%的mAP@0.50，表明在中等IoU阈值下具有较强的定位性能。
• 在NID数据集上，检测性能显著下降至26.19%的mAP@0.75，凸显了小体型昆虫与精确定位的挑战。
• 在EU-Moths数据集上，SSD检测器实现了99.01%的mAP@0.50和88.88%的mAP@0.75，表明在高质量人工采集图像上表现更优。
• 基于部件的特征提取使分类准确率提升了约2个百分点，最佳结果达到93.13%，采用iNaturalist预训练。
• 长尾物种分布与图像杂乱（如污渍、落叶）显著影响了检测与分类性能，尤其对稀有或小型物种影响更大。
• 当前基于CNN的目标检测模型因计算与能耗限制，无法在飞蛾扫描仪的边缘硬件上部署，需采用轻量化替代方案（如斑点检测器）。