[论文解读] A Multi-modal Deep Neural Network approach to Bird-song identification

Botond Fazeka, Alexander Schindler+2 more|arXiv (Cornell University)|Nov 11, 2018

Animal Vocal Communication and Behavior参考文献 4被引用 13

一句话总结

该论文提出了一种多模态深度神经网络，通过融合音频频谱图与环境元数据（纬度、经度、海拔、一天中的时间）实现鸟类鸣叫识别。采用卷积神经网络处理频谱图，全连接层处理元数据，该模型在BirdCLEF 2017挑战赛中取得最先进性能，传统录音中背景物种存在情况下的平均平均精度（MAP）为0.579，时间编码声景中的MAP为0.142。

ABSTRACT

We present a multi-modal Deep Neural Network (DNN) approach for bird song identification. The presented approach takes both audio samples and metadata as input. The audio is fed into a Convolutional Neural Network (CNN) using four convolutional layers. The additionally provided metadata is processed using fully connected layers. The flattened convolutional layers and the fully connected layer of the metadata are joined and fed into a fully connected layer. The resulting architecture achieved 2., 3. and 4. rank in the BirdCLEF2017 task in various training configurations.

研究动机与目标

• 通过将音频与上下文元数据（位置、一天中的时间、海拔）整合到单一深度学习模型中，提升鸟类鸣叫识别性能。
• 通过开发稳健的音频分割与数据增强技术，应对生物多样性监测中噪声多、长度可变的实地录音挑战。
• 评估多模态输入（尤其是空间与时间元数据）对鸟类鸣叫识别分类性能的影响。
• 通过数据增强、频谱图掩蔽和多分辨率输入处理优化模型训练与推理。
• 探索深度学习模型在基于音频的生物多样性监测中，时间分辨率与频谱分辨率之间的权衡。

提出的方法

• 使用STFT将音频录音转换为梅尔尺度频谱图（80个频带），FFT窗口大小为256或512，重叠率为50%。
• 通过基于中值的阈值法分离声音与噪声段落，随后使用形态学操作（腐蚀与膨胀）清理频谱图掩码。
• 将元数据（坐标、海拔、白天时段）编码为7维向量，对缺失值使用标志位，并归一化至[0,1]。
• 将频谱图输入（80×512）通过四层卷积层处理，激活函数为指数线性单元（ELU），并使用最大池化，随后应用dropout（0.4）。
• 元数据通过一个全连接层（100个神经元）处理，将展平后的CNN特征与元数据特征拼接后输入最终全连接层。
• 数据增强包括噪声叠加（最多4个样本，±10%音量）、类内音频混合（70%概率，20–60%衰减）以及来自邻近区域的类间叠加（30%概率，30%±5%衰减）。

实验结果

研究问题

• RQ1 与仅使用音频的模型相比，整合元数据（纬度、经度、海拔、一天中的时间）在多大程度上提升了鸟类鸣叫分类的准确性？
• RQ2 在基于频谱图的深度学习中，频谱分辨率（FFT大小）与时间分辨率之间应如何取得最优平衡？
• RQ3 数据增强策略（尤其是噪声与种间音频叠加）在提升模型对真实世界实地录音泛化能力方面的有效性如何？
• RQ4 在长时、嘈杂或片段化的录音场景（如时间编码声景）中，多模态学习是否优于仅使用音频的模型？
• RQ5 模型集成（例如，对不同FFT配置的预测结果取平均）是否能进一步提升在多样化评估任务上的性能？

主要发现

• 该模型在BirdCLEF 2017传统录音任务中（含背景物种，MAP w BS）取得了0.579的平均平均精度（MAP），在所有提交结果中排名第一。
• 在时间编码声景任务中（含时间码，MAP w TC），该模型取得了0.142的MAP，排名第三，表明其在复杂、长时录音中表现优异。
• Cynapse Run 3在初始90%训练后使用完整数据集训练，于传统录音任务中（无背景物种，MAP o MS）取得最高MAP（0.514），排名第二。
• 集成模型（Cynapse Run 4）结合了Run 2（512 FFT）与Run 3（256 FFT）的预测结果，在传统录音任务中取得最佳整体性能，MAP达0.579。
• 使用ELU激活函数使训练时间相比ReLU减少了约300%，同时保持相近的准确率，并消除了对批归一化的需求。
• 该模型对缺失元数据表现出鲁棒性：通过二值指示符标记缺失特征，即使部分元数据缺失，模型性能仍保持稳定。