[논문 리뷰] BIRB: A Generalization Benchmark for Information Retrieval in Bioacoustics

Jenny Hamer, Eleni Triantafillou외 5명|arXiv (Cornell University)|2023. 12. 12.

Animal Vocal Communication and Behavior인용 수 5

한 줄 요약

BIRB는 시민 과학(주요) 녹음과 실제의 수동 음향 스케이프 사이의 분포 이탈에 초점을 맞춘 현실적이고 복잡한 벤치마크를 제공하여 기계 학습 모델의 생물음향 정보 검색에서의 일반화 능력을 평가한다. 표현 학습과 최근접 중심 검색을 활용하여 새의 발성 음성을 검색하며, 공변량 이탈과 레이블 노이즈 상황에서 성능 저하가 심각하게 나타나며, 특히 희귀 종과 훈련에 포함되지 않은 지역에서 두드러진다.

ABSTRACT

The ability for a machine learning model to cope with differences in training and deployment conditions--e.g. in the presence of distribution shift or the generalization to new classes altogether--is crucial for real-world use cases. However, most empirical work in this area has focused on the image domain with artificial benchmarks constructed to measure individual aspects of generalization. We present BIRB, a complex benchmark centered on the retrieval of bird vocalizations from passively-recorded datasets given focal recordings from a large citizen science corpus available for training. We propose a baseline system for this collection of tasks using representation learning and a nearest-centroid search. Our thorough empirical evaluation and analysis surfaces open research directions, suggesting that BIRB fills the need for a more realistic and complex benchmark to drive progress on robustness to distribution shifts and generalization of ML models.

연구 동기 및 목표

• 생물음향 분야에서 훈련 데이터와 배포 데이터 간의 분포 이탈 상황에서의 모델 일반화 능력을 평가하기 위한 현실적인 벤치마크 부족 문제를 해결하기 위해.
• 공변량 이탈, 레이블 노이즈, 클래스 불균형과 같은 일반화의 여러 측면을 하나의 복잡한 평가 프레임워크 안에서 포괄하는 통합 벤치마크를 구축하기 위해.
• 다양한 음향 조건을 가진 실제 대규모 비라벨링 음향 현장 데이터를 활용하여 기계 학습 및 보존 연구 공동체가 모델 평가를 가능하게 하기 위해.
• 녹음 모달리티(주요 대 수동), 레이블 품질, 지리적 특이성 등의 차이가 모델 성능에 미치는 상대적 영향을 규명하기 위해.
• 보존 응용 분야에서 구현 가능한 강력한 모델을 개발하기 위해 표준화되고 개방된 벤치마크를 제공함으로써 진전을 이끌어내기 위해.

제안 방법

• 세 가지 유형의 데이터를 사용하여 벤치마크를 구성한다: XC Focal(시민 과학, 고품질 레이블), XC Background(공동 제작, 더 노이즈가 많고 품질이 낮은 레이블), 지역 음향 스케이프(전문가가 레이블링한, 저SNR, 수동 녹음).
• 오디오MAE 및 S EfficientNet 모델을 활용하여 오디오 클립을 공통 임베딩 공간으로 매핑함으로써 표현 학습을 수행한다.
• 각 클래스당 소수의 예시 클립을 제공함에 따라, 최근접 중심 검색 전략을 활용하여 대상 발성 음성을 검색한다.
• 뉴욕 주, 하와이, 콜롬비아/코스타리카, 페루, 시에erra 네바다 등 다양한 데이터 가용성과 레이블 정확도를 가진 평가 지역에서 모델 성능을 평가한다.
• 세 가지 평가 설정을 도입한다: 인위적 희귀(훈련 데이터에 포함되지 않은 희귀 종), 보류(업스트림 데이터에 포함되지 않은 전체 지역), 종 가용성 분해 분석을 통해 자원 부족 상황에서의 일반화 능력을 평가한다.
• cROC-AUC를 주요 평가 지표로 사용하여 다양한 데이터 분할, 모델 아키텍처, 데이터 소스 간의 성능 비교를 수행한다.

Figure 1: A schematic representation of the evaluation procedure (left) and our baseline system (right). Note that amecro is the species code for the American crow and is part of the query.

실험 결과

연구 질문

• RQ1 시민 과학 주요 녹음 데이터로 훈련된 모델은 녹음 조건과 신호 대 잡음비가 다른 실제 수동 음향 스케이프에 어떻게 일반화되는가?
• RQ2 레이블 노이즈, 공변량 이탈, 자원 부족이 생물음향 검색 작업의 모델 성능에 미치는 상대적 영향은 무엇인가?
• RQ3 훈련 중에 볼 수 없었던 지리적으로 다른 지역에서 평가할 경우, 특히 업스트림 훈련 데이터에 존재하지 않는 종에 대해 성능은 어떻게 변하는가?
• RQ4 대규모 다각도 시민 과학 데이터(XC)에서 사전 훈련한 모델이 수동 음향 스케이프에서 희귀 종이나 알려지지 않은 종에 대해 얼마나 일반화 능력을 향상시키는가?
• RQ5 다양한 자원 가용성과 레이블 품질 조건에서 다양한 모델 아키텍처(예: AudioMAE, S EfficientNet)와 미세조정 전략의 성능은 어떻게 다른가?

주요 결과

• XC Focal 데이터로 훈련된 모델는 수동 음향 스케이프에 배포될 경우 성능 저하가 심각하게 나타나며, 종이나 녹음 조건에 겹침이 없는 지역에서 특히 두드러진다.
• XC Background 코퍼스는 레이블 노이즈와 낮은 레이블 품질로 인해 가장 높은 일반화 과제를 제기하지만, XC Focal과의 성능 차이가 항상 통계적으로 유의미하지는 않다.
• 보류된 지역(예: 하와이 섬, 콜롬비아 및 코스타리카)에서의 성능은 볼 수 있었던 지역보다 상당히 낮으며, 이는 강력한 공변량 이탈 영향을 시사한다.
• 데이터 품질과 소스의 차이가 있음에도 불구하고, AudioMAE(미세조정된)와 S EfficientNet 모델은 뉴욕 주의 인위적 희귀 종에서 거의 구분할 수 없을 정도로 유사한 성능를 보이며, 특정 조건에서는 데이터 소스에 대한 강건성을 보여준다.
• 미국 시에erra 네바다와 페루의 보류된 종에서 cROC-AUC 성능은 높은 변동성을 보이며, 가용성 여부에 따라 일관된 추세가 없어, 발성 특성과 모델 일반화 간의 복잡한 상호작용을 시사한다.
• 벤치마크는 현재 모델이 희귀 종과 알려지지 않은 지리적 지역에서 가장 어려움을 겪고 있음을 드러내며, 생물음향 기계 학습 분야에서 데이터 증강, 자기지도 학습 사전 훈련, 도메인 적응 기법의 향상 필요성을 강조한다.

Figure 2: A comparison of using exemplars (E), i.e. $k\in\{1,2,...\}$ , and the learned representation (LR) for Artificially Rare species from the New York State, USA region. The learned representation is derived from each model’s learned weight vector for that species.