[논문 리뷰] Global birdsong embeddings enable superior transfer learning for bioacoustic classification

Burooj Ghani, Tom Denton외 2명|arXiv (Cornell University)|2023. 07. 12.

Animal Vocal Communication and Behavior참고 문헌 53인용 수 4

한 줄 요약

이 연구는 대규모 새 울음 모델에서 유도된 글로벌 새노래 임베딩이 다양한 분류군, 즉 새, 고래, 해양 포유류, 양서류 등에서 생음향 분류에 대해 소수의 예제로도 뛰어난 전이 학습을 가능하게 한다는 것을 입증한다. 새 데이터로 훈련된 이러한 임베딩은 극소수의 레이블 데이터로도 희귀 종과 미세한 음성 표현을 분류하는 데 일반 음성 임베딩보다 뛰어난 성능을 보인다.

ABSTRACT

Automated bioacoustic analysis aids understanding and protection of both marine and terrestrial animals and their habitats across extensive spatiotemporal scales, and typically involves analyzing vast collections of acoustic data. With the advent of deep learning models, classification of important signals from these datasets has markedly improved. These models power critical data analyses for research and decision-making in biodiversity monitoring, animal behaviour studies, and natural resource management. However, deep learning models are often data-hungry and require a significant amount of labeled training data to perform well. While sufficient training data is available for certain taxonomic groups (e.g., common bird species), many classes (such as rare and endangered species, many non-bird taxa, and call-type) lack enough data to train a robust model from scratch. This study investigates the utility of feature embeddings extracted from audio classification models to identify bioacoustic classes other than the ones these models were originally trained on. We evaluate models on diverse datasets, including different bird calls and dialect types, bat calls, marine mammals calls, and amphibians calls. The embeddings extracted from the models trained on bird vocalization data consistently allowed higher quality classification than the embeddings trained on general audio datasets. The results of this study indicate that high-quality feature embeddings from large-scale acoustic bird classifiers can be harnessed for few-shot transfer learning, enabling the learning of new classes from a limited quantity of training data. Our findings reveal the potential for efficient analyses of novel bioacoustic tasks, even in scenarios where available training data is limited to a few samples.

연구 동기 및 목표

• 소수의 훈련 데이터로 새로운 생음향 과제에 대해 음성 분류 모델에서 유도된 특징 임베딩의 전이 가능성 평가
• 새 울음에 기반한 데이터셋과 일반 음성 데이터셋에서 훈련된 임베딩의 성능을 비교하여 교차 분류군 생음향 분류에 대한 성능 평가
• 보존 생물학에서 흔한 저데이터 환경에서 글로벌 새울음 임베딩을 활용한 소수의 예제 학습 가능성 탐구
• 미세한 음성 변형, 예를 들어 새의 노래 방언과 유사 종 간의 차이를 식별하는 데 임베딩의 효과성 평가
• 특화된 새 모델에서 유도된 임베딩이 일반 목적의 음성 모델보다 다양한 생음향 클래스에 걸쳐 더 잘 일반화되는지 확인

제안 방법

• 대규모 새 울음 데이터셋(예: BirdNET)으로 사전 훈련된 딥 러닝 모델에서 특징 임베딩을 추출
• 소수의 레이블 예제가 있는 소수의 예제 학습 환경에서 이러한 임베딩을 선형 분류기의 입력 특징으로 적용
• 다양한 데이터셋(새 울음, 방언, 고래의 에코로케이션, 해양 포유류의 음성 표현, 양서류의 울음)에서 성능 평가
• 정확도, F1 점수, 혼동 행렬과 같은 표준 지표를 사용해 다양한 임베딩 소스 간의 모델 성능 비교
• 임베딩 차원의 영향을 평가하기 위해 분석 실험 수행
• 클래스 불균형과 동시 발생 혼동 문제를 분석하기 위해 겹치는 종(예: 수염고래와 베이지드 시릴) 간의 잘못 분류 패턴 분석

Figure 1 : Workflow illustrating the process of downstream classification for various bioacoustic tasks. Spectrograms are processed by pre-trained models, producing embeddings. These embeddings are then passed to a classifier head—a fully-connected feed forward neural network—which is trained for fi

실험 결과

연구 질문

• RQ1 대규모 새 울음 데이터셋에서 유도된 특징 임베딩이 소수의 레이블 예제로도 새로운 생음향 클래스에 효과적으로 일반화될 수 있는가?
• RQ2 새 전용 데이터에서 훈련된 임베딩이 일반 음성 데이터셋에서 훈련된 임베딩보다 교차 분류군 생음향 분류에서 성능이 뛰어나게 되는가?
• RQ3 임베딩 크기가 저데이터 환경에서 분류 성능에 어떤 영향을 미치는가?
• RQ4 동시 발생 종이 존재하는 복잡한 음향 환경에서 주요 잘못 분류 원인은 무엇인가?
• RQ5 임베딩이 기존 방법으로는 구분하기 어려운 미세한 음성 차이(예: 새의 노래 방언)를 포착할 수 있는가?

주요 결과

• 새 전용 모델에서 유도된 임베딩은 새 외 고래, 해양 포유류, 양서류의 울음 등 모든 테스트 데이터셋에서 일반 음성 임베딩보다 일관되게 뛰어난 성능을 보였다.
• 소수의 예제 환경에서 뛰어난 분류 정확도를 달성하여 글로벌 새울음 임베딩이 몇 개의 레이블 예제로도 효과적인 전이 학습을 가능하게 한다는 점을 입증했다.
• 수염고래와 베이지드 시릴 간의 잘못 분류 비율이 높았는데(18.6%), 이는 범위가 겹치고 음성 특성이 유사하기 때문이었으며, 더 나은 훈련 데이터 정제 필요성을 시사했다.
• YD 데이터셋은 저데이터 환경에서 높은 변동성을 보였는데, 이는 주로 음절 순서의 미세한 차이에 기인한 것으로 보이며, 진폭이나 톤의 변화가 아닌 방식으로 인식된 것으로 보인다.
• 더 큰 임베딩 크기는 음성 클래스 간의 분리 능력을 향상시켰지만, 모델 크기를 증가시키고 추론 속도를 저하시켜 BirdNET의 더 큰 버전이 성능 향상을 위해 개선되었다.
• 결과는 밀접하게 관련된 데이터(예: 새 울음)로 훈련된 모델에서 유도된 임베딩이 관련성이 없는 도메인의 모델보다 더 잘 일반화된다는 가설을 지지한다. 이는 분류군 간의 경계를 초월하여 성립한다.

Figure 2 : Results of Few-Shot Transfer Learning Tasks. ROC-AUC scores are plotted with log-odds scaling. A point is plotted for each experiment, and the curve connects the average quality for experiments at each number of training examples per class.