[논문 리뷰] Classification for Big Dataset of Bioacoustic Signals Based on Human Scoring System and Artificial Neural Network

Mohammad Pourhomayoun, Peter J. Dugan외 4명|arXiv (Cornell University)|2013. 05. 15.

Music and Audio Processing참고 문헌 23인용 수 9

한 줄 요약

이 논문은 인간 청각 평가 점수와 인공신경망(ANN)을 시간-주파수 스펙트로그램 특징을 활용해 통합하는 하이브리드 생음향 신호 분류 방법을 제안한다. 인간이 라벨링한 신호 품질 점수를 기반으로 ANN을 훈련시킴으로써, 대규모 24개월 생음향 데이터셋에서 고정된 위양성 비율에서 참양성 비율이 최대 20% 향상되어 탐지 성능이 크게 향상된다.

ABSTRACT

In this paper, we propose a method to improve sound classification performance by combining signal features, derived from the time-frequency spectrogram, with human perception. The method presented herein exploits an artificial neural network (ANN) and learns the signal features based on the human perception knowledge. The proposed method is applied to a large acoustic dataset containing 24 months of nearly continuous recordings. The results show a significant improvement in performance of the detection-classification system; yielding as much as 20% improvement in true positive rate for a given false positive rate.

연구 동기 및 목표

• 대규모 생음향 신호 데이터셋에서 기계학습에 인간의 청각 인지 요소를 통합하여 분류 성능을 향상시키는 것.
• 지속적인 장기 음향 기록에서 동물의 소리 표현을 정확하게 탐지하고 분류하는 과제를 해결하는 것.
• 인간이 라벨링한 신호 품질 점수를 감독 신호로 활용하여 확장 가능한 방법을 개발하는 것.
• 실제 생음향 적용 사례에서 청각 지식과 신호 처리 및 딥러닝을 융합하는 것이 효과적인지 입증하는 것.

제안 방법

• 원시 생음향 신호에서 시간-주파수 스펙트로그램 특징를 추출하여 음향 내용을 표현한다.
• 인간 전문가가 신호 세그먼트의 청각적 품질을 평가하며, 이를 인공신경망의 훈련 레이블로 사용한다.
• 스펙트로그램에서 유도된 특징를 바탕으로 인간 청각 평가 점수를 예측하도록 인공신경망을 훈련시어, 청각적으로 관련성이 있는 신호 패턴을 효과적으로 학습한다.
• 훈련된 ANN을 활용해 새로운 신호를 분류하며, 그들이 청각적으로 두드러지거나 의미 있는지의 가능성에 대해 예측한다.
• 시스템은 24개월에 달하는 생음향 데이터를 포함한 대규모 데이터셋에서 평가된다.
• 표준 탐지 지표를 사용하여 성능를 측정하며, 참양성 비율과 위양성 비율이 포함된다.

실험 결과

연구 질문

• RQ1 인간 청각 평가 점수는 생음향 분류를 위한 기계학습 모델 향상에 효과적으로 감독 신호로 사용될 수 있는가?
• RQ2 인간이 라벨링한 신호 품질 점수를 통합함으로써 대규모 생음향 데이터셋에서 탐지 성능이 어느 정도 향상되는가?
• RQ3 기존의 신호 기반 분류 방법과 비교했을 때, 제안된 방법은 참양성 비율과 위양성 비율 측면에서 어떻게 다른가?
• RQ4 인간 평가 점수 데이터를 기반으로 훈련된 인공신경망은 스펙트로그램 표현으로부터 청각적으로 관련성이 있는 특징를 학습할 수 있는가?

주요 결과

• 기존 기준 방법 대비 고정된 위양성 비율에서 참양성 비율이 최대 20% 향상되는 것으로 확인되었다.
• 훈련 과정에 인간의 청각 평가 점수를 통합함으로써 모델이 의미 있는 생음향 신호를 탐지하는 능력이 크게 향상되었다.
• 인공신경망은 스펙트로그램 특징에서 인간 청각 평가 점수를 성공적으로 예측함으로써 청각적으로 관련성이 있는 패턴를 효과적으로 포착하고 있음을 나타낸다.
• 시스템은 24개월에 달하는 연속적인 실세계 생음향 기록 데이터셋에서 뛰어난 성능을 보였다.