[论文解读] Detecting bird sound in unknown acoustic background using crowdsourced training data

Timos Papadopoulos, Stephen Roberts+1 more|arXiv (Cornell University)|May 24, 2015

Animal Vocal Communication and Behavior被引用 4

一句话总结

本文提出了一种可扩展的无监督方法，用于在未知声学背景中检测鸟类鸣叫，利用来自 xeno-canto 的众包音频数据。该方法在开放获取录音的频谱图特征上训练生成性高斯混合模型（GMM），无需手动预处理即可实现有效的异常检测，在不同环境和信噪比下表现一致，尽管由于与背景声音的频谱重叠，不同物种的表现有所差异。

ABSTRACT

Biodiversity monitoring using audio recordings is achievable at a truly global scale via large-scale deployment of inexpensive, unattended recording stations or by large-scale crowdsourcing using recording and species recognition on mobile devices. The ability, however, to reliably identify vocalising animal species is limited by the fact that acoustic signatures of interest in such recordings are typically embedded in a diverse and complex acoustic background. To avoid the problems associated with modelling such backgrounds, we build generative models of bird sounds and use the concept of novelty detection to screen recordings to detect sections of data which are likely bird vocalisations. We present detection results against various acoustic environments and different signal-to-noise ratios. We discuss the issues related to selecting the cost function and setting detection thresholds in such algorithms. Our methods are designed to be scalable and automatically applicable to arbitrary selections of species depending on the specific geographic region and time period of deployment.

研究动机与目标

• 开发一种可扩展的方法，用于在复杂且未知的声学环境中检测鸟类鸣叫，而无需依赖人工标注的背景数据。
• 利用来自 xeno-canto 的众包、最小标注音频，训练针对特定物种的正常性模型以表征鸟类声音。
• 评估生成模型在区分鸟类鸣叫与多样化非鸟类声音背景（包括城市和自然环境）方面的有效性。
• 实现可自动集成到更大分类流程或人机协同验证系统中的、物种特定的检测。
• 评估特征选择与模型复杂度对不同声学条件下检测性能的影响。

提出的方法

• 在从 xeno-canto 获取的开放获取鸟类录音中提取的频谱图帧上，使用高斯混合模型（GMM）训练生成模型。
• 结合频谱平坦度度量（SFM）、频谱质心和频谱通量作为特征向量，以表征鸟类鸣叫。
• 应用最小描述长度（MDL）准则，以确定 GMM 成分的最优数量，确保模型复杂度与数据拟合之间的平衡。
• 采用异常检测框架，其中测试段在学习到的 GMM 下的似然度较低，即表示可能存在鸟类鸣叫。
• 基于极值理论的概率阈值方法，用于设定正常（鸟类样）与异常（非鸟类）段之间的决策边界。
• 在 IEEE AASP 挑战数据库的真实环境录音上测试该方法，包括‘公园’和‘露天市场’类别，且信噪比各不相同。

实验结果

研究问题

• RQ1 在众包、最小标注的鸟类录音上训练的生成模型，能否有效检测未知声学背景中的鸟类鸣叫？
• RQ2 音频特征的选择（如 SFM、频谱质心、频谱通量）如何影响不同物种和环境下的检测性能？
• RQ3 背景复杂度（如城市与自然环境）以及信噪比降低在多大程度上会降低检测性能？
• RQ4 MDL 准则能否在训练数据有限的情况下，可靠地确定 GMM 成分的最优数量，避免过拟合？
• RQ5 如何为基于 GMM 的异常检测应用一种合理的阈值方法，以在真实生物声学监测中平衡敏感度与特异度？

主要发现

• 该方法在不同随机数据划分和背景环境中均表现出一致的检测性能，表明其具有鲁棒性和可重复性。
• 将频谱平坦度度量（SFM）作为特征可提升某些物种（如 *Turdus merula* 和 *Turdus philomelos*）的检测效果，表明频谱纹理具有信息量。
• 当从‘公园’背景过渡到‘露天市场’背景时，性能中度下降，信噪比降低 6dB 时进一步下降，但降幅有限。
• MDL 准则在不同物种和特征集上均得出一致的最优 GMM 成分数量（通常为 5–10），且超过此范围增加成分数不会提升性能。
• 在主频成分中以低频能量为主（如 1–2 kHz）的物种，其区分度较差，因这些频率与人类语音和城市噪音重叠。
• 基线方法在 *Luscinia luscinia*、*Luscinia megarhynchos* 和 *Turdus merula* 等物种上表现欠佳，可能由于与背景声音的频谱相似性，表明需要更具区分性的特征或时序建模。