[論文レビュー] Bird Species Classification And Acoustic Features Selection Based on Distributed Neural Network with Two Stage Windowing of Short-Term Features

Nahian I. Hasan|arXiv (Cornell University)|Jan 1, 2022

Animal Vocal Communication and Behavior被引用数 4

ひとこと要約

本稿では、従来の信号処理とディープラーニングを組み合わせた、2段階のウィンドウ処理を用いた分散型2次元CNN-LSTMネットワークを提案し、鳥種分類を実現する。13個のMFCCと12個のChromaベクトルを用いることで90.45%の精度を達成し、特異度（98.94%）とAUC（94.09%）も高く、リアルタイム応用に適した音響特徴選択と時系列・周波数特徴の学習が有効であることを示している。

ABSTRACT

Identification of bird species from audio records is one of the challenging tasks due to the existence of multiple species in the same recording, noise in the background, and long-term recording. Besides, choosing a proper acoustic feature from audio recording for bird species classification is another problem. In this paper, a hybrid method is represented comprising both traditional signal processing and a deep learning-based approach to classify bird species from audio recordings of diverse sources and types. Besides, a detailed study with 34 different features helps to select the proper feature set for classification and analysis in real-time applications. Moreover, the proposed deep neural network uses both acoustic and temporal feature learning. The proposed method starts with detecting voice activity from the raw signal, followed by extracting short-term features from the processed recording using 50 ms (with 25ms overlapping) time windows. Later, the short-term features are reshaped using second stage (non-overlapping) windowing to be trained through a distributed 2D Convolutional Neural Network (CNN) that forwards the output features to a Long and Short Term Memory (LSTM) Network. Then a final dense layer classifies the bird species. For the 10 class classifier, the highest accuracy achieved was 90.45\% for a feature set consisting of 13 Mel Frequency Cepstral Coefficients (MFCCs) and 12 Chroma Vectors. The corresponding specificity and AUC scores are 98.94\% and 94.09\%, respectively.

研究の動機と目的

• 実世界の音声記録からの鳥種分類における課題、例えば複数種の重複、背景ノイズ、長時間の録音に対処すること。
• 34個の候補から、耐障害性と効率性に優れた鳥種分類に最も適した音響特徴セットを特定すること。
• 時系列と周波数特徴の学習を統合したハイブリッドディープラーニングフレームワークを構築し、分類性能を向上させること。
• 特徴選択とネットワークアーキテクチャの最適化により、計算効率を高め、リアルタイム分類を可能にすること。

提案手法

• 音声活動検出を生の音声に適用し、特徴抽出前に鳥の鳴き声を分離する。
• 短時間特徴を50 msのハミング窓を用い、25 msのオーバーラップで抽出する（第1段階のウィンドウ処理）。
• その後、重複のない第2段階のウィンドウ処理により特徴を再形状し、2次元畳み込みニューラルネットワーク（CNN）の2次元入力として構成する。
• 2次元CNNは再形状された特徴マップから空間的および周波数的パターンを学習する。
• CNNの出力特徴は、音声系列における時系列的依存性をモデル化するため、長短期記憶（LSTM）ネットワークに供給される。
• 最終的な全結合層は、学習された表現から鳥種の分類を実行する。

実験結果

リサーチクエスチョン

• RQ1 34個の候補からなる音響特徴セットのうち、どの組み合わせが鳥種識別において最高の分類精度を達成するか？
• RQ2 重複ありの2段階ウィンドウ処理（第1段階でオーバーラップあり、第2段階で非重複）は、単一段階アプローチと比較して、どのように鳥の鳴き声分類の特徴表現を改善するか？
• RQ3 2次元CNNとLSTMアーキテクチャを組み合わせることで、複雑な音声記録からの鳥種分類性能がどの程度向上するか？
• RQ4 背景ノイズや複数種の重複がある中でも、提案手法がリアルタイム応用において高い精度と特異度を達成できるか？

主な発見

• 13個のメル周波数ケプストラム係数（MFCCs）と12個のChromaベクトルを組み合わせた特徴セットで、最高の分類精度90.45%を達成した。
• 特異度は98.94%に達し、非ターゲット種の正しく識別された性能を示している。
• 受信者操作特性曲線（AUC）スコアは94.09%であり、モデルの強力な識別能力を示している。
• 2段階ウィンドウ処理戦略は、時系列的および周波数的情報を効果的に保持し、ディープラーニングに適した特徴表現を向上させた。
• 2次元CNNとLSTMのハイブリッドアーキテクチャは、局所的な周波数的パターンと長期的な時系列的ダイナミクスの両方を捉えることができ、標準モデルを上回る性能を発揮した。
• 本研究は、リアルタイム鳥種分類に最適な25特徴セット（13 MFCCs + 12 Chroma）を特定する検証済みの特徴選択パイプラインを提供した。