[논문 리뷰] Generalization in birdsong classification: impact of transfer learning methods and dataset characteristics

Burooj Ghani, Vincent J. Kalkman외 4명|arXiv (Cornell University)|2024. 09. 21.

Animal Vocal Communication and BehaviorBiochemistry, Genetics and Molecular Biology인용 수 3

한 줄 요약

이 연구는 다양한 데이터셋과 모델 아키텍처(CNNs, Transformers)에서 새 울음소리 분류를 위한 전이학습 방법—피지터닝과 지식 정련—을 평가한다. 얕은 피지터닝이 새로운 음향 환경으로의 일반화 성능가 더 뛰어나며, Xeno-canto 데이터에서는 교차 정련이 도메인 내 성능을 향상시킨다. 저자들은 모델의 강건성을 향상시키기 위해 배경 종과 시간 정보를 포함한 포괄적인 레이블링을 권장한다.

ABSTRACT

Animal sounds can be recognised automatically by machine learning, and this has an important role to play in biodiversity monitoring. Yet despite increasingly impressive capabilities, bioacoustic species classifiers still exhibit imbalanced performance across species and habitats, especially in complex soundscapes. In this study, we explore the effectiveness of transfer learning in large-scale bird sound classification across various conditions, including single- and multi-label scenarios, and across different model architectures such as CNNs and Transformers. Our experiments demonstrate that both fine-tuning and knowledge distillation yield strong performance, with cross-distillation proving particularly effective in improving in-domain performance on Xeno-canto data. However, when generalizing to soundscapes, shallow fine-tuning exhibits superior performance compared to knowledge distillation, highlighting its robustness and constrained nature. Our study further investigates how to use multi-species labels, in cases where these are present but incomplete. We advocate for more comprehensive labeling practices within the animal sound community, including annotating background species and providing temporal details, to enhance the training of robust bird sound classifiers. These findings provide insights into the optimal reuse of pretrained models for advancing automatic bioacoustic recognition.

연구 동기 및 목표

• 다양한 데이터셋과 모델 아키텍처에서 전이학습 방법—피지터닝과 지식 정련—이 새 울음소리 분류에 미치는 영향을 평가하기 위해.
• 복잡한 실제 음향 환경과 정제된 학습 데이터 간의 모델 일반화 성능을 평가하기 위해.
• 특히 배경 종에 대한 불완전하거나 약한 레이블이 분류기 성능에 미치는 영향을 조사하기 위해.
• 생물음성학 데이터셋의 데이터 정제 최적화 방법을 규명하여 모델의 강건성과 전이 가능성 향상시키기 위해.
• 단일-대-다중 레이블 조건에서 지식 정련과 피지터링 중 어느 것이 더 뛰어난 성능을 내는지, 다양한 데이터 및 작업 조건 하에서 평가하기 위해.

제안 방법

• Xeno-canto와 Dawn Chorus 데이터셋에서 Wav2Vec 2.0, HuBERT, Vision Transformers 등의 사전 훈련된 오디오 모델을 전이학습을 통해 피지터링하였다.
• 더 큰 교사 모델에서 더 작은 학생 모델로 지식을 전이하기 위해 지식 정련, 특히 교차 정련을 적용하여 효율성과 성능을 향상시켰다.
• 주 레이블(전경 종)과 보조 레이블(배경 종)을 포함한 단일-레이블 및 다중-레이블 분류 설정에서 모델을 평가하였다.
• 주요 평가 지표로 mAP(median Average Precision)와 AUC(Area Under Curve)를 사용하였으며, 이산 예측을 위해 임계값 설정을 적용하였다.
• 레이블의 완전성과 시간 정보 주석이 모델의 자신감과 일반화 능력에 미치는 영향을 분석하였으며, 특히 신호 대 잡음 비율이 낮은 환경에서 중시하였다.
• 모델 아키텍처(CNNs 및 Transformers)와 데이터 분포 간의 성능을 비교하여 강건성과 전이 가능성 평가하였다.

Figure 1 : Transfer learning strategies. Light-coloured blocks are neural networks being trained; dark-coloured blocks are ‘frozen’ and unchanging during transfer learning. Shallow fine-tuning (top) uses most of the pretrained model as a fixed feature extractor, retraining the final layer(s) on the

실험 결과

연구 질문

• RQ1 새로운 복잡한 음향 환경에서와 도메인 내 데이터에서 피지터닝과 지식 정련의 일반화 성능를 비교할 경우 어떻게 되는가?
• RQ2 불완전하거나 약한 보조 레이블(배경 종)을 포함할 경우 모델의 정밀도, 재현율 및 전체적인 강건성에 어떤 영향을 미치는가?
• RQ3 기본 정련 또는 피지터링에 비해 교차 정련이 다중 종 새 울음소리 분류 작업에서 성능을 향상시키는가?
• RQ4 시작/종료 시간 정보가 포함된 시간 주석이 모델 자신감과 일반화에 어떤 영향을 미치는가?
• RQ5 특히 배경 종에 대한 레이블 완전성이 실제 모니터링 환경에서 자동 새 종 탐지의 신뢰성에 얼마나 영향을 미치는가?

주요 결과

• 얕은 피지터닝이 지식 정련보다 새로운 복잡한 음향 환경에서 일반화 성능가 뛰어나, 강건성과 제약된 학습 행동을 보여준다.
• 교차 정련은 Xeno-canto 데이터에서 도메인 내 성능을 크게 향상시켰으며, 특히 다중 레이블 설정에서 효과적임을 시사한다.
• 보조(배경) 종 레이블의 포함은 모델의 재현율을 높였지만 정밀도를 낮추어 민감도와 정확도 사이의 상충 관계를 보여준다.
• 주(전경) 종에 비해 보조(배경) 종에 대해 모델 자신감이 더 높고 정확도가 높은 편이었으며, 이는 음량, 거리, 신호 대 잡음 비율의 차이 때문일 수 있다.
• 불완전한 레이블에도 불구하고 보조 종 레이블을 포함시키는 것으로 성능 향상이 이루어졌으며, 더 포괄적인 주석 방식의 가치를 뒷받침한다.
• mAP는 다양한 설정에서 안정적이었으며, 다중 레이블 학습에서 자신감이 감소하더라도 모델의 종 가능성 순위가 유지됨을 시사한다.

Figure 2 : Geographic distribution of our data sourced from Xeno-canto.