[논문 리뷰] Few-shot bioacoustic event detection at the DCASE 2023 challenge

Inês Nolasco, Burooj Ghani외 13명|arXiv (Cornell University)|2023. 06. 15.

Animal Vocal Communication and Behavior인용 수 6

한 줄 요약

이 논문은 2023년 DCASE Few-shot Bioacoustic Event Detection 챌린지를 제시하며, 각 타겟 클래스당 레이블이 5개 뿐인 예제만을 사용하여 동물의 음성 발화를 탐지하는 시스템을 개발한다. 다양한 소수학습 방법—예를 들어 프로토타입 네트워크, 대조 학습, BEATs 기반 모델—을 평가하여 최대 F-스코어 63%를 달성하며 이전 년도 대비 상당한 진전을 보였다.

ABSTRACT

Few-shot bioacoustic event detection consists in detecting sound events of specified types, in varying soundscapes, while having access to only a few examples of the class of interest. This task ran as part of the DCASE challenge for the third time this year with an evaluation set expanded to include new animal species, and a new rule: ensemble models were no longer allowed. The 2023 few shot task received submissions from 6 different teams with F-scores reaching as high as 63% on the evaluation set. Here we describe the task, focusing on describing the elements that differed from previous years. We also take a look back at past editions to describe how the task has evolved. Not only have the F-score results steadily improved (40% to 60% to 63%), but the type of systems proposed have also become more complex. Sound event detection systems are no longer simple variations of the baselines provided: multiple few-shot learning methodologies are still strong contenders for the task.

연구 동기 및 목표

• 소수의 레이블 데이터로 희귀하거나 새로운 동물의 음성 발화를 탐지하는 문제 해결.
• 소수의 예제로 일반화할 수 있도록 모델을 설계하여 생물음향 연구에서의 데이터 부족과 레이블링 부담을 완화.
• 소수학습 파라다임의 효과성을 다양한 데이터셋 간, 다양한 종 간 생물음향 이벤트 탐지에서 평가.
• 새로운 아키텍처와 훈련 전략을 도입하고 테스트하여 소수학습의 최신 기술 수준을 향상.
• 다양한 음향 환경, 종, 녹음 조건 간의 모델 일반화 능력 평가.

제안 방법

• 인퍼런스 시 타겟 클래스당 5개의 예제(k=5)가 제공되는 N-way-k-shot 분류를 사용하여 모델 적응.
• 새로운 녹음 조건을 가진 14개의 다양한 데이터셋에서 통합된 훈련 전략을 적용.
• 프로토타입 네트워크에 스queezе/엑citation(SE) 블록과 음성 샘플 검색 기법을 도입하여 프로토타입 학습 향상.
• 양성 및 음성 이벤트 쌍 간의 분리도를 극대화하여 특징 임베딩을 학습함으로써 분류 능력을 향상시키기 위해 대조 학습을 적용.
• 저자원 데이터에서 표현 학습을 향상시키기 위해 사전 훈련된 오디오 트랜스포머 모델인 BEATs를 특징 인코더로 활용.
• 시간적 정렬 기반으로 학습된 임베딩에 대해 템플릿 매칭을 적용하여 이벤트 발생 탐지.

Figure 1: Overview of the proposed few-shot bioacoustic event detection task at the DCASE challenge. Green and purple rectangles represent labelled and predicted events, respectively.

실험 결과

연구 질문

• RQ1 클래스당 다섯 개의 예제만 제공될 때, 다양한 소수학습 방법의 생물음향 이벤트 탐지 성능은 어떻게 되는가?
• RQ2 소수의 컨텍스트 적응만으로도 단일 통합 모델이 다양한 동물 종과 녹음 조건에 대해 얼마나 일반화할 수 있는가?
• RQ3 SE 블록, 대조 학습, 사전 훈련된 인코더와 같은 아키텍처 선택이 소수학습 탐지 성능에 어떤 영향을 미치는가?
• RQ4 입력 특징의 선택(예: Delta MFCC, PCEN)이 생물음향 탐지의 소수학습에 어떤 역할을 하는가?
• RQ5 전체 F-스코어 향상에도 불구하고 QU 데이터셋(dolphin quacks)은 왜 지속적으로 도전적인가?

주요 결과

• 최고의 성능을 보인 시스템은 평가 세트에서 F-스코어 63%를 기록하여 2022년의 60%와 2021년의 40%에 비해 상당한 향상을 보였다.
• 대조 학습이 강력한 접근법으로 부각되었으며, Moummad_IMT의 시스템은 최적화된 임베딩과 임베딩 공간 내 이진 분류를 사용하였다.
• XuQianHu_NUDT의 모델에 스케일/엑citation(SE) 블록을 통합함으로써 채널 기반 특징 재조정이 가능해져 기준 프로토타입 네트워크 대비 성능 향상을 이룬 바 있다.
• BEATs 기반 모델은 뛰어난 일반화 잠재력을 보였으며, ECS50 데이터셋에서의 미세조정을 통해 후속 탐지에 적합한 임베딩 품질 향상을 이룬 바 있다.
• QU 데이터셋(dolphin quacks)은 여전히 가장 어려운 문제로 남아 있었으며, 모든 팀이 낮은 F-스코어를 기록하여 짧은 이벤트 지속시간과 높은 노이즈로 인한 도전 과제를 반영하고 있었다.
• 음성 샘플 검색 및 새로운 손실 함수(예: Jung_KT의 음성 기반 프로토타입 손실)를 적용한 시스템은 소수학습에서 클래스 불균형 문제에 대해 더 뛰어난 내구성을 보였다.

Figure 2: F-Score results by team (best submission only). Systems are ordered from least to highest scoring rank on the evaluation set.