[논문 리뷰] Few-shot bioacoustic event detection at the DCASE 2022 challenge

Inês Nolasco, Satnam Singh외 13명|Research portal (Tilburg University)|2022. 07. 14.

Music and Audio Processing인용 수 5

한 줄 요약

이 논문은 DCASE 2022에서 실시된 소수 샘플 생물음향 음향 이벤트 탐지 챌린지의 두 번째 버전을 제시한다. 이 챌린지에서는 15개 팀이 클래스당 단지 다섯 개의 레이블된 예제만을 사용하여 동물의 발성음을 탐지하는 시스템을 개발하였다. 최고 성능을 낸 시스템은 원형 네트워크, 전도적 추론, 적응형 시간 모델링을 활용하여 60%의 F-스코어를 달성하였으며, 지난해의 40% 기준선보다 크게 향상되었고, 장기적인 비레이블링된 생물음향 녹음에서의 소수 샘플 탐지 분야에서의 진전을 보여주었다.

ABSTRACT

Few-shot sound event detection is the task of detecting sound events, despite having only a few labelled examples of the class of interest. This framework is particularly useful in bioacoustics, where often there is a need to annotate very long recordings but the expert annotator time is limited. This paper presents an overview of the second edition of the few-shot bioacoustic sound event detection task included in the DCASE 2022 challenge. A detailed description of the task objectives, dataset, and baselines is presented, together with the main results obtained and characteristics of the submitted systems. This task received submissions from 15 different teams from which 13 scored higher than the baselines. The highest F-score was of 60% on the evaluation set, which leads to a huge improvement over last year's edition. Highly-performing methods made use of prototypical networks, transductive learning, and addressed the variable length of events from all target classes. Furthermore, by analysing results on each of the subsets we can identify the main difficulties that the systems face, and conclude that few-show bioacoustic sound event detection remains an open challenge.

연구 동기 및 목표

• 높은 레이블링 비용과 전문가의 가용성 부족으로 인해 레이블이 극히 적은 조건에서 장기적인 생물음향 녹음에서 동물의 발성음을 탐지하는 문제를 해결하기 위해.
• 지난해의 기준선 F-스코어 28.45%를 향상시키기 위해 생물음향 분야의 음향 이벤트 탐지에 특화된 소수 샘플 학습 기법을 발전시키기 위해.
• 클래스당 다섯 개의 양성 예제만을 사용하여 다양한 종과 녹음 조건에서 변동 길이를 가진 이벤트를 탐지할 수 있도록 하기 위해.
• 표준화된 벤치마크에서 다양한 소수 샘플 학습 접근법(예: 원형 네트워크, 데이터 증강, 전도적 추론)을 평가하고 비교하기 위해.
• 레이블이 명시적으로 제공되지 않은 상황에서 부정적 프로토타입을 효과적으로 구성하는 것과 같은 지속적인 과제를 규명하기 위해.

제안 방법

• 각 목표 클래스당 다섯 개의 지원 예제에서만 클래스 임베딩을 학습하기 위해 원형 네트워크를 활용하여 소수 샘플 분류 및 탐지가 가능하도록 하였다.
• 전체 테스트 세트를 활용하여 예측을 개선하고 일반화 능력과 진짜 이벤트 경계와의 일치도를 높이기 위해 전도적 추론을 적용하였다.
• 특히 짧은 지속 시간을 가진 이벤트에 효과적인 프레임 수준의 임베딩 학습을 통해 시간 해상도를 향상시켰다.
• 다양한 종에서의 이벤트 길이 변화를 처리하기 위해 적응형 입력 크기와 다중 척도 아키텍처(예: 넓은 ResNet, 다중 척도 ResNet)를 구현하였다.
• 시간 왜곡, 주파수 마스킹, Specaugment 등의 데이터 증강 기법을 적용하여 정확도와 일반화 능력을 향상시켰다.
• 사전 훈련된 모델(예: ECAPA-TDNN)을 소수 샘플 탐지 작업에 적응시키기 위해 작업 적응형 특징과 미세조정 전략을 활용하였다.

Figure 1: F-Score results by dataset. Systems are ordered by highest scoring rank on the evaluation set.

실험 결과

연구 질문

• RQ1 클래스당 다섯 개의 레이블된 예제만 존재하는 생물음향 분야의 음향 이벤트 탐지 작업에 소수 샘플 학습을 어떻게 효과적으로 적용할 수 있는가?
• RQ2 훈련 데이터가 극히 제한된 상황에서 전도적 추론은 성능 향상에 어떤 역할을 하는가?
• RQ3 다른 동물 종에서의 이벤트 지속 시간의 변동성은 탐지 성능에 어떤 영향을 미치며, 이를 완화하기 위한 아키텍처 전략은 무엇인가?
• RQ4 명시적인 부정 레이블이 없는 상황에서 개선된 부정 프로토타입 구성은 거짓 경고를 줄여 탐지 성능을 향상시킬 수 있는가?
• RQ5 데이터 증강 및 모델 미세조정 전략은 소수 샘플 생물음향 SED에서 성능 향상에 얼마나 기여하는가?

주요 결과

• 최고 성능을 낸 시스템은 평가 세트에서 60%의 F-스코어를 기록하여 지난해의 최고 성능인 28.45%보다 크게 향상되었다.
• 프레임 수준의 임베딩 학습을 적용한 시스템은 짧은 지속 시간을 가진 데이터셋(예: QU, MGE)에서 더 뛰어난 성능을 보였으며, 이는 시간 정밀도 향상 덕분이었다.
• 전도적 추론과 작업 적응형 특징 학습이 전체 테스트 세트의 맥락을 활용하여 예측을 개선함으로써 탐지 성능을 크게 향상시켰다.
• 다양한 이벤트 길이에 적응하는 앙상블 및 다중 척도 아키텍처는 특히 이벤트 지속 시간의 변동성이 높은 데이터셋에서 단일 아키텍처 모델보다 뛰어난 성능을 보였다.
• CNN에 대한 단순한 수정(예: 주파수 축 최적화, 다섯 샘플 지원 세트에 대한 통제된 과적합)이 모든 평가 서브셋에서 강력한 성능을 보였다.
• 다시 말해, 진전이 있었음에도 불구하고 소수 샘플 설정에서 클래스 불균형, 부정 프로토타입 구성, 분류와 탐지 간 격차 해소 등의 과제는 여전히 남아 있다.