[논문 리뷰] Automatic Sound Event Detection and Classification of Great Ape Calls Using Neural Networks

Zifan Jiang, Adrian Soldati외 3명|arXiv (Cornell University)|2023. 01. 05.

Animal Vocal Communication and Behavior인용 수 9

한 줄 요약

이 논문은 원시 연속 오디오에서 침팬지, 오랑우탄, 보노보에 걸친 대형 영장류의 울음소를 자동으로 감지하고 분류하는 신경망 파이프라인(wav2vec 2.0 피처 + LSTM/Transformer)을 제안하며 프레임 레벨 정확도 및 F1-스코어가 높게 나타난다. 미세 조정 없이 wav2vec 2.0 피처의 강력한 일반화성을 입증하고, 코드가 공개된다.

ABSTRACT

We present a novel approach to automatically detect and classify great ape calls from continuous raw audio recordings collected during field research. Our method leverages deep pretrained and sequential neural networks, including wav2vec 2.0 and LSTM, and is validated on three data sets from three different great ape lineages (orangutans, chimpanzees, and bonobos). The recordings were collected by different researchers and include different annotation schemes, which our pipeline preprocesses and trains in a uniform fashion. Our results for call detection and classification attain high accuracy. Our method is aimed to be generalizable to other animal species, and more generally, sound event detection tasks. To foster future research, we make our pipeline and methods publicly available.

연구 동기 및 목표

• 현장 녹음(raw field recordings)에서 대형 영장류 울음소의 자동적이고 정확한 탐지 및 분류를 동기화한다.
• 다양한 어노테이션 체계를 가진 여러 영장류 계통을 다룰 수 있는 일반화 가능한 파이프라인을 개발한다.
• 크로스-스펙트: 음성 표현(wav2vec 2.0)을 전이 학습 없이도 울음소 탐지 및 분류에 활용하는지 평가한다.
• 재현 가능한 생물음향 분석을 촉진하기 위한 오픈 소스 워크플로를 제공한다.

제안 방법

• 오디오를 16 kHz로 변환하고 20 ms 프레임으로 분할한다.
• 프레임당 세 가지 피처(원시 파형, 스펙트로그램, wav2vec 2.0 임베딩)를 추출한다.
• 프레임 피처를 per-frame 울음소 레이블에 매핑하기 위해 순서 모델(bidirectional LSTM 또는 Transformer encoder)을 학습시키고, 필요 시 자기회귀 연결을 도입한다.
• 가중 손실로 클래스 불균형을 처리하고 여러 무작위 데이터 분할로 훈련을 증강한다.
• 세 가지 영장류 데이터셋(chimpanzee, orangutan, bonobo)에서 프레임 수준 정확도, 가중된 F1-스코어, 이진 호출에 대한 AUC-PR 등으로 평가한다.
• 재현 가능한 SED를 위한 오픈 소스 파이프라인을 제공한다.

실험 결과

연구 질문

• RQ1 사전학습된 음성 표현(wav2vec 2.0)이 대형 영장류 종 간 생물학적 호출 탐지 및 분류에 이전 가능한가?
• RQ2 프레임 수준의 영장류 호출 레이블링에서 LSTM과 Transformer 시퀀스 모델의 성능 차이는 무엇인가?
• RQ3 자기회귀 연결이 예측의 시간적 일관성을 개선하는가?
• RQ4 모델이 종 간 일반화 및 이진 호출-비호출 탐지에서 얼마나 잘 일반화되는가?
• RQ5 보지 않은 종( orangutan에서 bonobo로)으로의 제로샷 전이의 한계는 무엇인가?

주요 결과

• wav2vec 2.0 피처와 LSTM이 침팬지 데이터에서 파형 및 스펙트로그램 베이스라인보다 우수한 성능을 보인다.
• Transformer 인코더는 소규모 데이터에서 침팬지 데이터에 대해 LSTM보다 성능이 저조하다.
• 자기회귀 연결이 출력의 일관성과 전반적 성능을 향상시킨다.
• 모델을 오랑우탄 및 보노보 데이터로 확장하면 프레임 수준 정확도와 F1-스코어가 높게 나타나고, 이진 호출 변형은 강력한 성능(AUC-PR 최대 0.96)을 보인다.
• 오랑우탄에서 보노보로의 제로샷 전이는 일반화 가능성의 잠재력을 보여주며( AUC-PR 0.55), 교차 종 SED 모델의 개선 여지가 있음을 시사한다.