[论文解读] Acoustic Identification of Ae. aegypti Mosquitoes using Smartphone Apps and Residual Convolutional Neural Networks

Kayuã Oleques Paim, Ricardo Rohweder+3 more|arXiv (Cornell University)|Jun 16, 2023

Animal Vocal Communication and BehaviorBiochemistry, Genetics and Molecular Biology被引用 3

一句话总结

本文提出了一种轻量级残差卷积神经网络（基于ResNet）的智能手机声学识别Aedes aegypti蚊子的方法，利用翅膀振动声音记录实现高精度和强抗背景噪声能力。通过一种新型的噪声抑制训练策略和一个新基准数据集，实现了在低端智能手机上实时、高效的推理，模型尺寸缩小18.5%，推理时间提升2倍，得益于量化和多线程推理技术。

ABSTRACT

In this paper, we advocate in favor of smartphone apps as low-cost, easy-to-deploy solution for raising awareness among the population on the proliferation of Aedes aegypti mosquitoes. Nevertheless, devising such a smartphone app is challenging, for many reasons, including the required maturity level of techniques for identifying mosquitoes based on features that can be captured using smartphone resources. In this paper, we identify a set of (non-exhaustive) requirements that smartphone apps must meet to become an effective tooling in the fight against Ae. aegypti, and advance the state-of-the-art with (i) a residual convolutional neural network for classifying Ae. aegypti mosquitoes from their wingbeat sound, (ii) a methodology for reducing the influence of background noise in the classification process, and (iii) a dataset for benchmarking solutions for detecting Ae. aegypti mosquitoes from wingbeat sound recordings. From the analysis of accuracy and recall, we provide evidence that convolutional neural networks have potential as a cornerstone for tracking mosquito apps for smartphones.

研究动机与目标

• 开发一种低成本、可扩展的智能手机应用程序，用于基于声学信号实现实时检测Aedes aegypti蚊子。
• 解决在消费级智能手机上部署机器学习模型时面临的计算资源和环境噪声挑战。
• 创建一个公开可用的高质量数据集，用于基准测试蚊子声音分类模型。
• 在不牺牲分类精度的前提下，提升模型效率和对背景噪声的鲁棒性。
• 通过可及的移动技术，实现Aedes aegypti种群的广泛社区监测。

提出的方法

• 提出一种针对移动端推理优化的残差卷积神经网络（基于ResNet）架构，采用残差块以减少计算开销，并使用Dropout层防止过拟合。
• 在训练过程中应用动态范围量化，使模型尺寸减少18.5%，推理时间缩短一半，同时保持精度不变。
• 实现多线程推理流水线，将特征提取、分类和结果显示解耦，提升响应速度。
• 提出一种噪声感知的训练策略，降低环境背景噪声对分类性能的影响。
• 使用短音频片段（1–2秒）的频谱图作为CNN的输入，实现端到端的蚊子分类。
• 在真实世界录音和新采集的数据集上验证模型，测试其在多样化声学环境下的性能。

实验结果

研究问题

• RQ1 轻量级残差CNN能否仅通过智能手机麦克风输入，实现对Aedes aegypti翅膀振动声音的高精度分类？
• RQ2 动态范围量化在不降低分类性能的前提下，对减少模型尺寸和推理时间有多有效？
• RQ3 所提出的训练策略在多大程度上能缓解背景噪声对蚊子检测精度的影响？
• RQ4 该模型能否在流行地区常见的低端智能手机上保持高性能？
• RQ5 与最先进模型相比，该模型在精度、推理速度和模型尺寸方面表现如何？

主要发现

• 所提模型实现了高分类精度和高召回率，展现出在蚊子追踪应用中实际部署的强大潜力。
• 通过动态范围量化，模型尺寸减少了18.5%，显著提升了计算效率。
• 通过多线程处理和模型优化，推理时间减少了约2倍。
• 在半受控的实验室环境中，模型在不同背景噪声水平下均表现出高度稳定性，能准确识别Aedes aegypti。
• 该应用程序在入门级智能手机（如Asus Zenfone Max M3和Motorola Moto E6 Play）上成功运行且无崩溃，平均推理时间约为320 ms。
• 新引入的数据集为未来基于智能手机的声学蚊子检测研究提供了标准化基准。