[논문 리뷰] Learning to detect an animal sound from five examples

Inês Nolasco, Shubhr Singh외 15명|arXiv (Cornell University)|2023. 05. 22.

Animal Vocal Communication and BehaviorBiochemistry, Genetics and Molecular Biology참고 문헌 60인용 수 3

한 줄 요약

이 논문은 소수의 예시(5개의 레이블링된 예시)만으로도 동물의 소리 행동을 탐지할 수 있는 소수의 생음향 소리 이벤트 탐지(FSED)를 소개한다. 음성 전용 전처리와 질의 시 적응 기법을 적용한 프로토타입 네트워크를 활용하여, 다양한 저자원 생음향 작업에서 뛰어난 성능을 달성하며 기존의 신호 처리 기법을 능가하고, 야생 생물의 소리 분석을 위한 일반화 가능한 소수의 예시 모델의 실현 가능성을 입증한다.

ABSTRACT

Automatic detection and classification of animal sounds has many applications in biodiversity monitoring and animal behaviour. In the past twenty years, the volume of digitised wildlife sound available has massively increased, and automatic classification through deep learning now shows strong results. However, bioacoustics is not a single task but a vast range of small-scale tasks (such as individual ID, call type, emotional indication) with wide variety in data characteristics, and most bioacoustic tasks do not come with strongly-labelled training data. The standard paradigm of supervised learning, focussed on a single large-scale dataset and/or a generic pre-trained algorithm, is insufficient. In this work we recast bioacoustic sound event detection within the AI framework of few-shot learning. We adapt this framework to sound event detection, such that a system can be given the annotated start/end times of as few as 5 events, and can then detect events in long-duration audio -- even when the sound category was not known at the time of algorithm training. We introduce a collection of open datasets designed to strongly test a system's ability to perform few-shot sound event detections, and we present the results of a public contest to address the task. We show that prototypical networks are a strong-performing method, when enhanced with adaptations for general characteristics of animal sounds. We demonstrate that widely-varying sound event durations are an important factor in performance, as well as non-stationarity, i.e. gradual changes in conditions throughout the duration of a recording. For fine-grained bioacoustic recognition tasks without massive annotated training data, our results demonstrate that few-shot sound event detection is a powerful new method, strongly outperforming traditional signal-processing detection methods in the fully automated scenario.

연구 동기 및 목표

• 레이블링된 데이터가 부족하고 소리 특성이 다양하게 변하는 저자원 생음향 소리 이벤트 탐지 문제를 해결한다.
• 소수의 예시로도 다양한 종과 부르는 소리 유형 간에 일반화할 수 있는, 동물의 소리에 특화된 소수의 학습 프레임워크를 개발한다.
• 비정상적인 조건과 변동하는 이벤트 지속시간을 가진 실제 장기 음성 기록에서 소수의 예시 모델의 성능을 평가한다.
• 질의 시 적응 기반의 프로토타입 메타학습 기법이 소수의 생음향 탐지에서 최신 기술 수준의 성능을 달성할 수 있음을 입증한다.
• 공개 챌린지와 개방형 데이터셋을 통해 재사용 가능하고 일반적인 목적의 음성 임베딩 개발을 촉진한다.

제안 방법

• 5개의 레이블링된 동물의 소리와 배경 음성으로 구성된 지원 집합을 사용하여 소수의 예시 소리 이벤트 탐지(FSED)를 위한 프로토타입 네트워크를 적응한다.
• 비정상적인 음성 조건에 대한 강건성 향상과 특징 표현 개선을 위해 채널별 에너지 정규화(PCEN)를 적용한다.
• 재학습 없이도 새로운 음성 클립에서 모델 예측을 보정하기 위해 질의 시 적응(전도적 추론)을 구현하여 탐지 정확도를 향상시킨다.
• 변동하는 이벤트 지속시간을 다루기 위해 지속시간 필터링과 후처리를 적용하여 실제 기록에서 성능에 미치는 영향을 크게 줄인다.
• 다양한 종과 부르는 소리 유형을 포함하는 개방형 데이터셋을 활용한 공개 벤치마크를 도입하여 소수의 일반화 능력을 철저히 테스트한다.
• 프로토타입 기반과 비프로토타입 기반 접근법(예: 미세조정 및 질의 시 적응 가중치 부여, 예: DFSL)을 모두 평가하여 일반화 전략을 비교한다.

Figure 1: (a) Few-shot sound event detection: the first 5 sound events are given as examples—in standard supervised learning they would be considered the training set—and the remainder must then be detected. (b) Few-shot sound event detection as a meta-learning problem. Each of our datasets represen

실험 결과

연구 질문

• RQ1 클래스당 단지 5개의 레이블링된 예시만으로도 소수의 학습 기법을 생음향 소리 이벤트 탐지에 효과적으로 적용할 수 있는가?
• RQ2 장기 음성 기록에서의 비정상성과 변동하는 이벤트 지속시간은 소수의 예시 탐지 성능에 어떤 영향을 미치는가?
• RQ3 질의 시 적응 기법이 소수의 생음향 탐지 작업에서 탐지 정확도를 뚜렷이 향상시키는가?
• RQ4 테스트 시 적응 없이도 단일 고정 임베딩 공간이 다양한 생음향 작업에 일반화될 수 있는가?
• RQ5 실제 세계의 FSED 벤치마크에서 프로토타입 기반 메타학습과 다른 미세조정 기반 방법 간의 성능는 어떻게 비교되는가?

주요 결과

• 적절한 음성 예외 선택과 지속시간 필터링을 통한 프로토타입 기반 메타학습은 소수의 생음향 소리 이벤트 탐지에서 뛰어난 성능을 달성한다.
• 질의 시 적응 기법은 비정상적인 음성 기록에서 특히 탐지 정확도를 크게 향상시키지만, 계산 비용과 복잡도가 증가한다.
• 질의 시 적응 없이도 최상의 프로토타입 네트워크 모델은 다양한 동물의 소리에 일반화 가능한 강력한 재사용 가능한 임베딩을 생성한다.
• 특히 저자원 및 지속시간이 변동하는 작업에서, 전통적인 신호 처리 기반 탐지 방법보다 자동화된 환경에서 더 뛰어난 성능을 보인다.
• 비프로토타입 기반 접근법(예: 미세조정 및 DFSL(질의 시 적응 가중치 부여)) 역시 강력한 성능을 달성하여, 메타학습이 반드시 필요하지 않음을 시사한다.
• 2023년 챌린지에서의 앙상블 제약 도입은 모델의 일반화를 촉진하여 앙상블 기반 솔루션보다 단일 강력한 모델을 선호하게 한다.

Figure 2: Sample spectrograms for each dataset. POS (positive, i.e. target) vocalizations are indicated with a white rectangle.