[论文解读] Parsing Birdsong with Deep Audio Embeddings

Irina Tolkova, Brian Chu+3 more|arXiv (Cornell University)|Aug 20, 2021

Animal Vocal Communication and Behavior参考文献 21被引用 14

一句话总结

本文提出一种半监督框架，利用深度音频嵌入检测 BirdNET 在鸟类鸣叫分类中的误报。通过卷积自编码器和预训练网络（Wavegram-Logmel-CNN16、VGGish 和 Wav2Vec）学习潜在表征，该方法对音频样本进行聚类，并通过专家对聚类进行标注，从而提升分类精度，尤其在信噪比较低或信号质量较差的录音中有效减少误报。

ABSTRACT

Monitoring of bird populations has played a vital role in conservation efforts and in understanding biodiversity loss. The automation of this process has been facilitated by both sensing technologies, such as passive acoustic monitoring, and accompanying analytical tools, such as deep learning. However, machine learning models frequently have difficulty generalizing to examples not encountered in the training data. In our work, we present a semi-supervised approach to identify characteristic calls and environmental noise. We utilize several methods to learn a latent representation of audio samples, including a convolutional autoencoder and two pre-trained networks, and group the resulting embeddings for a domain expert to identify cluster labels. We show that our approach can improve classification precision and provide insight into the latent structure of environmental acoustic datasets.

研究动机与目标

• 解决在低信噪比环境下自动鸟类鸣叫分类中误报检测的挑战。
• 通过后处理 BirdNET 的输出结果，利用学习到的音频嵌入提升其物种识别的精确度。
• 使领域专家能够解释并标注音频嵌入的聚类，揭示种内及环境声音的结构模式。
• 通过学习表征的聚类识别并隔离由背景噪声或错误分类叫声引起的误报。
• 揭示高质量训练数据（Xeno-Canto）与实际部署数据（BirdNET 用户提交）之间的领域差异。

提出的方法

• 利用卷积自编码器学习原始音频波形的紧凑且有意义的表征。
• 利用两个预训练模型——Wavegram-Logmel-CNN16 和 VGGish——进行音频嵌入的迁移学习。
• 通过 Wav2Vec 实现自监督表征学习，从原始音频中提取上下文丰富的嵌入。
• 应用聚类算法（如 k-means）根据声学相似性将嵌入聚合成可解释的聚类。
• 引入人机协同标注，为聚类分配语义标签（如“条纹 owl 呼叫”、“雏鸟乞食叫声”、“环境噪声”）。
• 利用聚类分配结果重新评估 BirdNET 的预测，为其分配替代置信度分数以提升精确度。

实验结果

研究问题

• RQ1 深度音频嵌入能否有效区分真实鸟类鸣叫与环境噪声或错误分类的叫声？
• RQ2 不同模型（Wavegram-Logmel-CNN16、VGGish、Wav2Vec）学习到的嵌入在捕捉下游分类所需声学结构方面表现如何？
• RQ3 专家标注的聚类标签在后处理中能多大程度上提升 BirdNET 预测的精确度？
• RQ4 Xeno-Canto 的高质量训练数据与 BirdNET 用户提交的真实世界数据之间的领域差异如何影响嵌入分布与分类性能？
• RQ5 在学习到的嵌入空间中，聚类揭示了哪些种内鸣叫的结构模式（如成鸟与幼鸟叫声）？

主要发现

• Wavegram-Logmel-CNN16 模型在三种嵌入方法中精确度最高，尽管召回率较低，表明其在减少误报方面表现优异。
• 嵌入聚类揭示了可解释的分组，如成熟的条纹 owl 呼叫、雏鸟乞食叫声和环境噪声，这些均经专家直接标注。
• 该方法成功识别出相较于“呼叫声”聚类，BirdNET 用户提交中更高比例的样本被分配至“嘈杂”聚类，反映出用户录音中信噪比较低。
• 在 Xeno-Canto 与 BirdNET 嵌入之间观察到显著的领域差异，部分聚类（如幼鸟叫声）表现出明显的分布差异。
• 对于条纹 owl，该方法显著提升了精确度，但受限于数据集中真实正例样本数量较少，性能提升有限。
• 该框架表明，通过人机协同方式对聚类进行标注，可有效检测并隔离误报，尤其在嘈杂或模糊的录音中。