[논문 리뷰] BirdSet: A Large-Scale Dataset for Audio Classification in Avian Bioacoustics

Lukas Rauch, Raphael Schwinger외 9명|arXiv (Cornell University)|2024. 03. 15.

Animal Vocal Communication and BehaviorBiochemistry, Genetics and Molecular Biology인용 수 3

한 줄 요약

BirdSet는 조류 생물음성학 분야의 음성 분류를 위한 표준화되고 대규모의 벤치마크를 도입하여 다양한 오픈소스 데이터셋을 통합된 프레임워크로 통합함으로써 다중 클래스 및 다중 레이블 분류를 가능하게 한다. 일관된 테스트 세트, 표준화된 전처리 및 Hugging Face와의 통합을 통해 재현 가능한 모델 평가를 가능하게 하며, 시각 기반 및 원시 음성 트랜스포머 모델을 위한 베이스라인을 설정하여 생물음성학 분야의 딥러닝 연구에서 비교 가능성과 접근성을 향상시킨다.

ABSTRACT

Deep learning (DL) has greatly advanced audio classification, yet the field is limited by the scarcity of large-scale benchmark datasets that have propelled progress in other domains. While AudioSet is a pivotal step to bridge this gap as a universal-domain dataset, its restricted accessibility and limited range of evaluation use cases challenge its role as the sole resource. Therefore, we introduce BirdSet, a large-scale benchmark dataset for audio classification focusing on avian bioacoustics. BirdSet surpasses AudioSet with over 6,800 recording hours ($\uparrow\!17\%$) from nearly 10,000 classes ($\uparrow\!18 imes$) for training and more than 400 hours ($\uparrow\!7 imes$) across eight strongly labeled evaluation datasets. It serves as a versatile resource for use cases such as multi-label classification, covariate shift or self-supervised learning. We benchmark six well-known DL models in multi-label classification across three distinct training scenarios and outline further evaluation use cases in audio classification. We host our dataset on Hugging Face for easy accessibility and offer an extensive codebase to reproduce our results.

연구 동기 및 목표

• 조류 생물음성학 분야의 깊이 학습 연구에서의 분산성과 일관성 부족 문제를 해결하기 위해 이질적인 데이터셋과 평가 프로토콜을 통합한다.
• 일관된 테스트 세트와 학습 자원을 갖춘 표준화된 벤치마크를 구축하여 모델 간 비교 가능성과 재현 가능성을 향상시킨다.
• 스펙트로그램 기반 모델과 원시 음성 트랜스포머를 포함한 다양한 모델 아키텍처를 지원하기 위해 유연하고 커뮤니티가 확장 가능한 프레임워크를 제공한다.
• 향후 피assive acoustic monitoring 분야의 연구를 위한 기준 성능 지표와 방법론적 지침을 제공한다.
• Weighs and Biases를 통한 실험 추적과 투명하고 재사용 가능한 코드 제공을 통해 초보자 접근성을 높인다.

제안 방법

• 벤치마크는 주로 Xeno-Canto에서 확보한 여러 오픈소스 조류 생물음성학 데이터셋을 통합하여 Hugging Face Datasets 호환 형식으로 통합한다.
• 고정된 테스트 데이터셋 세트와 다양한 학습 자원을 포함한 표준화된 평가 파이프라인을 정의하여 일관된 모델 비교를 가능하게 한다.
• 프레임워크는 스펙트로그램 기반 모델과 원시 음성 트랜스포머를 모두 지원하여 다양한 입력 모odal리티에서의 평가를 가능하게 한다.
• 커뮤니티 기여를 촉진하고 벤치마크의 확장성을 보장하기 위해 데이터셋 생성 도구를 제공한다.
• 모든 실험은 투명성을 확보하기 위해 Weights and Biases를 사용해 추적하며, 코드베이스는 GitHub에 공개되어 있어 개방형 재사용이 가능하다.
• 프레임워크는 철저한 문헌 분석에 기반하여 데이터셋 선택, 모델 신뢰성, 학습 및 평가 분야의 핵심 과제를 식별한다.

실험 결과

연구 질문

• RQ1 다양한 딥러닝 아키텍처는 표준화된 다중 클래스 및 다중 레이블 새 울음 분류 작업에서 어떻게 성능을 발휘하는가?
• RQ2 기록 조건과 레이블링 체계가 상이한 다양한 데이터셋 간에서 모델 성능은 얼마나 변동하는가?
• RQ3 통합된 벤치마크는 조류 생물음성학 연구에서 재현 가능성과 비교 가능성 향상에 기여하는가?
• RQ4 이 표준화된 벤치마크에서 최신 기술 모델의 기준 성능 지표는 무엇인가?
• RQ5 스펙트로그램 기반 모델과 비교했을 때 원시 음성 모델의 내성적 강건성과 일반화 능력은 어떠한가?

주요 결과

• BirdSet는 다양한 데이터셋과 작업 간에 깊이 학습 모델의 일관된 비교를 가능하게 하는 표준화된 평가 프레임워크를 구축한다.
• 시각 기반 모델과 원시 음성 트랜스포머가 경쟁적인 성능를 기록하며, 후자는 다양한 기록 조건에 대한 처리 잠재력을 보여준다.
• 벤치마크는 데이터셋 간에 뚜렷한 성능 변동을 드러내어 실제 PAM 응용 분야에서 강건한 일반화 능력의 필요성을 강조한다.
• 다양한 모델 아키텍처를 위한 기준 결과가 제공되어 향후 연구 및 방법론 개발의 기초 자료로 활용 가능하다.
• Hugging Face 통합을 통해 다양한 데이터셋을 통합함으로써 커뮤니티 기반 데이터 기여에 대한 확장성과 스케일링 능력이 보장된다.
• Weights and Biases를 통한 실험 추적은 재현 가능성을 향상시키고 방법론 정교화를 촉진한다.