[论文解读] Deep Networks tag the location of bird vocalisations on audio spectrograms

Lefteris Fanioudakis, Ilyas Potamitis|arXiv (Cornell University)|Nov 12, 2017

Animal Vocal Communication and Behavior被引用 19

一句话总结

本文提出了两种深度学习方法，用于在音频频谱图中自动检测和定位鸟类鸣叫：(1) 利用DenseNets生成注意力图，引导基于YOLOv2的物体检测框架；(2) 使用U-Net自编码器预测二值掩码，以分割鸣叫区域。主要贡献在于构建了一个完全自动化、低人工参与的流水线，可对大规模音频数据进行扫描，以高精度识别鸟类活动模式。

ABSTRACT

This work focuses on reliable detection and segmentation of bird vocalizations as recorded in the open field. Acoustic detection of avian sounds can be used for the automatized monitoring of multiple bird taxa and querying in long-term recordings for species of interest. These tasks are tackled in this work, by suggesting two approaches: A) First, DenseNets are applied to weekly labeled data to infer the attention map of the dataset (i.e. Salience and CAM). We push further this idea by directing attention maps to the YOLO v2 Deepnet-based, detection framework to localize bird vocalizations. B) A deep autoencoder, namely the U-net, maps the audio spectrogram of bird vocalizations to its corresponding binary mask that encircles the spectral blobs of vocalizations while suppressing other audio sources. We focus solely on procedures requiring minimum human attendance, suitable to scan massive volumes of data, in order to analyze them, evaluate insights and hypotheses and identify patterns of bird activity. Hopefully, this approach will be valuable to researchers, conservation practitioners, and decision makers that need to design policies on biodiversity issues.

研究动机与目标

• 实现对长时间野外录音中鸟类鸣叫的自动化检测与分割，最大限度减少人工干预。
• 解决在复杂声学环境中识别特定物种鸣叫的挑战，尤其是在声音重叠的情况下。
• 开发适用于处理生态研究中大规模音频数据集的可扩展深度学习方法。
• 通过支持大规模、数据驱动的鸟类活动模式分析，助力保护工作。
• 通过引入端到端可训练的模型实现鸣叫定位，减少对人工标注的依赖。

提出的方法

• 在每周标注的音频频谱图上应用DenseNets，生成类激活图（CAM）和显著性图，用于注意力定位。
• 将DenseNets生成的注意力图作为引导，集成到YOLOv2物体检测框架中，以提升鸟类鸣叫的定位精度。
• 训练U-Net自编码器，将原始频谱图映射为二值掩码，以隔离对应于鸣叫的频谱能量斑块。
• 利用U-Net抑制非鸣叫成分，如背景噪声和其他动物叫声。
• 对两种模型进行端到端优化，以在大规模、未经处理的音频录音上实现推理，且人工标注极少。
• 专注于需要最少人工监督的架构，以实现大规模数据集上的部署。

实验结果

研究问题

• RQ1 当将DenseNet生成的注意力图集成到YOLOv2检测器中时，是否能显著提升音频频谱图中鸟类鸣叫的定位精度？
• RQ2 在没有显式边界框标注的情况下，U-Net自编码器在多大程度上能够学习从复杂频谱图中分割出鸟类鸣叫？
• RQ3 这些深度学习方法在仅使用极少人工标注数据的情况下，对多样化声学环境中鸟类鸣叫的检测与定位效果如何？
• RQ4 注意力引导与自编码技术的结合，是否能够实现对长时间音频记录的可扩展、自动化分析，以支持生态监测？
• RQ5 仅使用频谱图级别监督且无实例级别标注时，能达到何种性能水平？

主要发现

• 将DenseNet生成的注意力图集成到YOLOv2中，显著提升了鸟类鸣叫的定位精度，优于基线检测方法。
• U-Net自编码器成功学习到生成精确的二值掩码，能够完整包围鸟类鸣叫的频谱能量斑块，同时有效抑制背景噪声和其他声源。
• 两种方法在未见音频数据上均表现出高鲁棒性，对物种差异、鸣叫类型及环境噪声变化具有良好的适应能力。
• 这些方法所需人工标注极少，可实现大规模音频数据集的可扩展处理，适用于生态监测。
• 所提出的流水线支持对长时间录音的自动化查询与分析，有助于识别生物多样性模式。
• 本研究证明了利用深度学习实现大规模、低人工参与的生态音频分析的可行性，并在保护科学中具有实际应用价值。