[论文解读] A machine learning pipeline for automated insect monitoring

Aditya Jain, Fagner Cunha+5 more|arXiv (Cornell University)|Jun 18, 2024

Smart Agriculture and AIAgricultural and Biological Sciences被引用 3

一句话总结

本文提出了一种开源的端到端机器学习流水线，用于使用相机陷阱实现自动化的蛾类监测，整合了目标检测、蛾类/非蛾类分类、细粒度的物种识别以及个体追踪。该系统利用来自GBIF和iNaturalist数据的零样本迁移学习，在真实世界的蛾类陷阱测试集上实现了77.81%的准确率，实现了在全球多样化部署中可扩展的、无需专家参与的昆虫监测。

ABSTRACT

Climate change and other anthropogenic factors have led to a catastrophic decline in insects, endangering both biodiversity and the ecosystem services on which human society depends. Data on insect abundance, however, remains woefully inadequate. Camera traps, conventionally used for monitoring terrestrial vertebrates, are now being modified for insects, especially moths. We describe a complete, open-source machine learning-based software pipeline for automated monitoring of moths via camera traps, including object detection, moth/non-moth classification, fine-grained identification of moth species, and tracking individuals. We believe that our tools, which are already in use across three continents, represent the future of massively scalable data collection in entomology.

研究动机与目标

• 解决当前昆虫衰退和生物多样性危机背景下，缺乏可扩展的昆虫监测数据这一关键问题。
• 克服人工分类调查的局限性，后者耗时长、地理分布不均，且依赖稀缺的专业人力。
• 开发一种稳健、与硬件无关且用户友好的机器学习流水线，最大限度减少人工标注，并支持全球部署。
• 利用来自多样化公共数据集的迁移学习，从相机陷阱图像中实现细粒度的蛾类物种级识别。
• 通过跨帧追踪个体蛾类，支持长期生态监测，实现按物种统计个体数量。

提出的方法

• 通过在GBIF和iNaturalist等高质量公开图像上进行训练，而非依赖昂贵的人工标注陷阱图像，实现零样本迁移学习。
• 实施模块化流水线：首先，利用传统图像处理与深度学习技术进行目标检测，定位昆虫；其次，使用二分类器区分蛾类与非蛾类。
• 采用基于ResNet-50架构的细粒度物种分类器，并结合数据增强技术，以应对训练数据（GBIF）与部署数据（陷阱）之间的领域偏移问题。
• 使用基于成本的追踪算法，结合交并比（IoU）、尺寸比例、空间距离和物种分类器的特征相似性，实现连续帧之间蛾类的匹配。
• 采用强数据增强策略，包括随机裁剪、水平翻转、RandAugment，以及混合分辨率模拟，以提升对低分辨率陷阱图像的鲁棒性。
• 开发AMI数据伴侣（AMI Data Companion）和AMI网络平台（AMI Web Platform），支持图形界面和命令行操作，实现用户友好的可扩展处理，促进协作与容错批量处理。

(a) A moth camera trap

实验结果

研究问题

• RQ1 机器学习流水线是否能在无需对实地陷阱图像进行大量人工标注的情况下，实现高准确率的蛾类物种识别？
• RQ2 从公共生物多样性数据集（如GBIF、iNaturalist）进行零样本迁移学习，在真实世界相机陷阱部署中对蛾类分类的有效性如何？
• RQ3 模块化机器学习流水线在应对相机硬件、光照条件和地理区域差异性方面，其性能保持能力如何？
• RQ4 在存在大帧间位移的间歇性相机陷阱序列中，能否准确追踪个体蛾类？
• RQ5 该流水线是否能以最少的专家干预在全球多个大陆实现规模化部署，支持全球昆虫监测工作？

主要发现

• 细粒度物种分类器在GBIF数据集的保留测试集上达到了86.14%的准确率，证明了迁移学习的强大泛化能力。
• 在实际蛾类陷阱图像的专家标注小规模测试集中，模型实现了77.81%的准确率，表明其对真实世界部署条件的有效适应。
• 采用强数据增强技术（包括混合分辨率模拟）显著提升了模型对相机陷阱图像较低分辨率的鲁棒性。
• 追踪模块通过结合空间、尺寸和特征空间相似性的成本函数，成功实现了帧间蛾类的匹配，即使在大帧间位移下也能实现个体计数。
• 该流水线已在加拿大、美国、英国、丹麦和巴拿马成功部署并持续使用，证明了其在真实世界中的可扩展性与跨地理区域适用性。
• AMI数据伴侣和AMI网络平台使非专业生态学家能够处理数据、管理模型并开展全球协作，显著降低了基于机器学习的分类学研究的入门门槛。

(b) Trap in operation