[论文解读] Bird Species Classification And Acoustic Features Selection Based on Distributed Neural Network with Two Stage Windowing of Short-Term Features

Nahian I. Hasan|arXiv (Cornell University)|Jan 1, 2022

Animal Vocal Communication and Behavior被引用 4

一句话总结

本文提出一种基于分布式2D CNN-LSTM网络的两阶段窗口化方法，用于鸟类物种分类，结合了传统信号处理与深度学习方法。该方法利用13个MFCC和12个Chroma向量，实现了90.45%的准确率，特异性高达98.94%，AUC达到94.09%，证明了在实时应用中有效选择声学特征并学习时频特征的能力。

ABSTRACT

Identification of bird species from audio records is one of the challenging tasks due to the existence of multiple species in the same recording, noise in the background, and long-term recording. Besides, choosing a proper acoustic feature from audio recording for bird species classification is another problem. In this paper, a hybrid method is represented comprising both traditional signal processing and a deep learning-based approach to classify bird species from audio recordings of diverse sources and types. Besides, a detailed study with 34 different features helps to select the proper feature set for classification and analysis in real-time applications. Moreover, the proposed deep neural network uses both acoustic and temporal feature learning. The proposed method starts with detecting voice activity from the raw signal, followed by extracting short-term features from the processed recording using 50 ms (with 25ms overlapping) time windows. Later, the short-term features are reshaped using second stage (non-overlapping) windowing to be trained through a distributed 2D Convolutional Neural Network (CNN) that forwards the output features to a Long and Short Term Memory (LSTM) Network. Then a final dense layer classifies the bird species. For the 10 class classifier, the highest accuracy achieved was 90.45\% for a feature set consisting of 13 Mel Frequency Cepstral Coefficients (MFCCs) and 12 Chroma Vectors. The corresponding specificity and AUC scores are 98.94\% and 94.09\%, respectively.

研究动机与目标

• 为解决从真实世界音频记录中进行鸟类物种分类所面临的挑战，包括物种重叠、背景噪声以及长时录音等问题。
• 从34种候选特征中识别出最有效的声学特征组合，以实现鲁棒且高效的鸟类物种分类。
• 开发一种混合深度学习框架，整合时序与频谱特征学习，以提升分类性能。
• 通过优化特征选择与网络架构，实现实时分类，提升计算效率。

提出的方法

• 在特征提取前，对原始音频应用语音活动检测，以分离出鸟类鸣叫部分。
• 使用50 ms的汉明窗并以25 ms重叠提取短时特征（第一阶段窗口化）。
• 通过非重叠的第二阶段窗口化将特征重新组织为2D输入，供2D卷积神经网络（CNN）使用。
• 2D CNN从重新组织的特征图中学习空间与频谱模式。
• CNN输出的特征被送入长短期记忆（LSTM）网络，以建模音频序列中的时序依赖关系。
• 最终的全连接层基于学习到的表征完成鸟类物种的分类。

实验结果

研究问题

• RQ1 从34种候选特征中，哪种组合能为鸟类物种识别提供最高的分类准确率？
• RQ2 与单阶段方法相比，两阶段窗口化（先重叠后非重叠）在提升鸟类声音分类的特征表示方面有何优势？
• RQ3 结合2D CNN与LSTM架构在从复杂音频记录中分类鸟类物种方面，能多大程度上提升性能？
• RQ4 尽管存在背景噪声和物种重叠，该方法是否能在实时应用中实现高准确率与高特异性？

主要发现

• 使用包含13个梅尔频率倒谱系数（MFCCs）和12个Chroma向量的特征集，实现了最高的分类准确率90.45%。
• 特异性达到98.94%，表明在正确识别非目标物种方面表现优异。
• 曲线下面积（AUC）得分为94.09%，反映出模型具有强大的判别能力。
• 两阶段窗口化策略有效保留了时序与频谱信息，增强了深度学习的特征表示能力。
• 2D CNN与LSTM的混合架构优于标准模型，能够同时捕捉局部频谱模式与长期时序动态。
• 本研究提供了一个经过验证的特征选择流程，确定了最优的25维特征集（13个MFCCs + 12个Chroma），适用于实时鸟类物种分类。