[논문 리뷰] Bird Species Classification And Acoustic Features Selection Based on Distributed Neural Network with Two Stage Windowing of Short-Term Features

Nahian I. Hasan|arXiv (Cornell University)|2022. 01. 01.

Animal Vocal Communication and Behavior인용 수 4

한 줄 요약

이 논문은 전통적인 신호 처리와 딥러닝을 융합하여 새 종 분류를 위한 분산 2D CNN-LSTM 네트워크를 활용한 이단계 창문 접근법을 제안한다. 13개의 MFCC와 12개의 크로마 벡터를 사용하여 90.45%의 정확도를 달성했으며, 높은 특이도(98.94%)와 AUC(94.09%)를 기록하여 실시간 응용 프로그램에 적합한 청각 특징 선택 및 시간-스펙트럼 특징 학습이 효과적임을 입증한다.

ABSTRACT

Identification of bird species from audio records is one of the challenging tasks due to the existence of multiple species in the same recording, noise in the background, and long-term recording. Besides, choosing a proper acoustic feature from audio recording for bird species classification is another problem. In this paper, a hybrid method is represented comprising both traditional signal processing and a deep learning-based approach to classify bird species from audio recordings of diverse sources and types. Besides, a detailed study with 34 different features helps to select the proper feature set for classification and analysis in real-time applications. Moreover, the proposed deep neural network uses both acoustic and temporal feature learning. The proposed method starts with detecting voice activity from the raw signal, followed by extracting short-term features from the processed recording using 50 ms (with 25ms overlapping) time windows. Later, the short-term features are reshaped using second stage (non-overlapping) windowing to be trained through a distributed 2D Convolutional Neural Network (CNN) that forwards the output features to a Long and Short Term Memory (LSTM) Network. Then a final dense layer classifies the bird species. For the 10 class classifier, the highest accuracy achieved was 90.45\% for a feature set consisting of 13 Mel Frequency Cepstral Coefficients (MFCCs) and 12 Chroma Vectors. The corresponding specificity and AUC scores are 98.94\% and 94.09\%, respectively.

연구 동기 및 목표

• 실생활 오디오 녹음에서 새 종 분류에 도전하는 문제들, 즉 종 간 겹침, 배경 잡음, 장시간 녹음 등의 문제를 해결하기 위해.
• 강건하고 효율적인 새 종 분류를 위해 34개 후보 특징 중 가장 효과적인 청각 특징 조합을 식별하기 위해.
• 시간적 및 주파수적 특징 학습을 통합하여 분류 성능을 향상시키기 위한 하이브리드 딥러닝 프레임워크를 개발하기 위해.
• 계산 효율성을 고려한 특징 선택 및 네트워크 아키텍처 최적화를 통해 실시간 분류를 가능하게 하기 위해.

제안 방법

• 특징 추출 이전에 원시 오디오에 음성 활성도 검출을 적용하여 새의 음성 발화를 분리한다.
• 단기 특징은 50ms 힘마닝 창을 사용하고 25ms 겹침을 적용하여 추출한다(제1단계 창문).
• 특징들은 이후 비겹침 제2단계 창문을 통해 재형성되어 2D 컨volutional 신경망(CNN)용 2차원 입력을 형성한다.
• 2D CNN은 재형성된 특징 맵으로부터 공간적 및 주파수적 패턴을 학습한다.
• CNN의 출력 특징은 시간적 의존성을 모델링하기 위해 장기 기억 전이(LSTM) 네트워크로 전달된다.
• 최종 밀집층은 학습된 표현에서 새 종을 분류한다.

실험 결과

연구 질문

• RQ1 34개 후보 특징 중 어떤 조합이 새 종 식별에 가장 높은 분류 정확도를 제공하는가?
• RQ2 겹침이 있는 제1단계 창문과 비겹침 제2단계 창문을 포함한 이중 단계 창문 전략이 단일 단계 접근 방식에 비해 새 음성 분류의 특징 표현을 어떻게 향상시키는가?
• RQ3 2D CNN과 LSTM 아키텍처를 결합함으로써 복잡한 오디오 녹음에서 새 종 분류 성능을 얼마나 향상시키는가?
• RQ4 배경 잡음과 종 간 겹침이 존재하는 상황에서도 제안된 방법이 실시간 응용에서 높은 정확도와 특이도를 달성할 수 있는가?

주요 결과

• 13개의 멜 주파수 해석 계수(MFCCs)와 12개의 크로마 벡터를 포함한 특징 조합을 사용하여 최고의 분류 정확도 90.45%를 달성했다.
• 특이도는 98.94%에 도달하여 비대상 종을 정확히 식별하는 데 강력한 성능을 보였다.
• 곡선 아래 면적(AUC) 점수는 94.09%였으며, 모델의 강력한 구분 능력을 반영했다.
• 이중 단계 창문 전략은 시간적 및 주파수적 정보를 효과적으로 유지하여 딥러닝을 위한 특징 표현을 향상시켰다.
• 2D CNN과 LSTM의 하이브리드 아키텍처는 국소적 주파수 패턴과 장기적 시간 동적 특성을 모두 포착함으로써 표준 모델을 초월하는 성능을 보였다.
• 실시간 새 종 분류에 적합한 최적의 25개 특징 조합(13개의 MFCCs + 12개의 크로마)을 식별한 검증된 특징 선택 파이프라인을 제공하였다.