[论文解读] Deep learning for detection of bird vocalisations

Ilyas Potamitis|arXiv (Cornell University)|Sep 25, 2016

Animal Vocal Communication and Behavior参考文献 18被引用 11

一句话总结

本文提出一种深度自编码器模型，通过学习将音频频谱图映射为二值掩码，从而在嘈杂的野外录音中检测鸟类鸣叫。该方法能有效隔离鸣叫成分，同时抑制背景噪声和非生物声音。该方法所需人工干预极少，在大规模数据上运行高效，可实现对真实声学环境中鸟类多样性的自动化、可扩展监测。

ABSTRACT

This work focuses on reliable detection of bird sound emissions as recorded in the open field. Acoustic detection of avian sounds can be used for the automatized monitoring of multiple bird taxa and querying in long-term recordings for species of interest for researchers, conservation practitioners, and decision makers. Recordings in the wild can be very noisy due to the exposure of the microphones to a large number of audio sources originating from all distances and directions, the number and identity of which cannot be known a-priori. The co-existence of the target vocalizations with abiotic interferences in an unconstrained environment is inefficiently treated by current approaches of audio signal enhancement. A technique that would spot only bird vocalization while ignoring other audio sources is of prime importance. These difficulties are tackled in this work, presenting a deep autoencoder that maps the audio spectrogram of bird vocalizations to its corresponding binary mask that encircles the spectral blobs of vocalizations while suppressing other audio sources. The procedure requires minimum human attendance, it is very fast during execution, thus suitable to scan massive volumes of data, in order to analyze them, evaluate insights and hypotheses, identify patterns of bird activity that, hopefully, finally lead to design policies on biodiversity issues.

研究动机与目标

• 开发一种自动化系统，用于在真实世界、嘈杂的声学环境中检测鸟类鸣叫。
• 通过最小化检测流程中的人工干预，减少对手动标注的依赖。
• 实现对长时录音的可扩展处理，以支持生态研究和保护工作。
• 在保留目标鸟类鸣叫的同时，抑制非鸟类声源（如风声、雨声、人为噪声）。
• 开发一种快速、高效的算法，适用于大规模生物多样性监测系统的部署。

提出的方法

• 训练一个深度自编码器，使其在重建输入频谱图的同时，学习生成仅突出显示与鸟类鸣叫对应的频谱能量的二值掩码。
• 使用来自野外录音的频谱图块端到端训练模型，目标是生成指示鸣叫区域的二值掩码。
• 该架构学习频谱模式的分层表征，使其能够区分鸟类鸣叫与非生物和生物噪声源。
• 训练过程中最小化重建损失，促使自编码器仅保留与鸣叫相关的频谱结构。
• 训练完成后，使用二值掩码从原始频谱图中提取并定位鸟类鸣叫事件。
• 该方法在推理阶段运行高效，适用于大规模音频数据集的处理。

实验结果

研究问题

• RQ1 深度自编码器是否能在不了解干扰源的情况下，有效从复杂的真实世界声学噪声中分离出鸟类鸣叫？
• RQ2 该模型在不同环境条件和录音质量下，对多种鸟类物种的检测能力如何？
• RQ3 与传统音频增强或检测技术相比，该方法在准确性和效率方面表现如何？
• RQ4 该模型在极少微调的情况下，能否在不同地理区域和录音设置中实现良好泛化？
• RQ5 有效部署需要多少人工标注？系统是否能在极少监督下运行？

主要发现

• 深度自编码器成功学习生成二值掩码，能准确在频谱图中定位鸟类鸣叫，即使在高度嘈杂的环境中亦可实现。
• 该方法通过有效抑制风声、雨声和人为噪声等非鸟类声音，实现了高检测准确率。
• 该模型所需人工监督极少，因其在弱标注的频谱图块上进行训练，无需完整的音频标注。
• 推理速度足够快，可在合理时间内处理大规模、长时间的音频录音。
• 该方法支持鸟类鸣叫的自动化、大规模分析，有助于生态研究和保护决策制定。
• 该模型在不同录音条件下具有良好的泛化能力，对背景噪声和鸣叫类型的变化表现出强鲁棒性。