[논문 리뷰] Bioacoustic Event Detection with prototypical networks and data augmentation

Mark Anderson, Naomi Harte|arXiv (Cornell University)|2021. 12. 16.

Animal Vocal Communication and Behavior인용 수 4

한 줄 요약

이 논문은 데이터 증강과 PCEN 정규화된 멜 스펙트로그램을 사용한 프로토타입 네트워크를 활용한 생음향 이벤트 검출을 위한 소수의 학습 예제(few-shot) 학습 방법을 제시한다. 비록 F-측정치가 26.243%에 도달했지만, 재현율(recall)은 38.1%로 향상되었으나 정밀도(precision)는 낮아져, 강력한 특징 공학 및 증강 기법을 적용했음에도 일반화 능력에 어려움을 겪고 있음을 시사한다.

ABSTRACT

This report presents deep learning and data augmentation techniques used by a system entered into the Few-Shot Bioacoustic Event Detection for the DCASE2021 Challenge. The remit was to develop a few-shot learning system for animal (mammal and bird) vocalisations. Participants were tasked with developing a method that can extract information from five exemplar vocalisations, or shots, of mammals or birds and detect and classify sounds in field recordings. In the system described in this report, prototypical networks are used to learn a metric space, from which classification is performed by computing the distance of a query point to class prototypes, classifying based on shortest distance. We describe the architecture of this network, feature extraction methods, and data augmentation performed on the given dataset and compare our work to the challenge's baseline networks.

연구 동기 및 목표

• 클래스당 레이블이 부여된 예시가 다섯 개 뿐인 조건에서도 동물의 음성 발화를 탐지하고 분류할 수 있는 소수의 학습 예제 학습 시스템을 개발하는 것.
• 레이블링 비용이 높고 데이터가 부족한 저자원 생음향 환경에서의 일반화 능력을 향상시키는 것.
• 데이터 증강 및 PCEN 정규화 기법이 새로운 동물 음성 클래스에 대한 모델의 강인성 향상에 얼마나 효과적인지 평가하는 것.
• 특히 F-측정치, 정밀도, 재현율 측면에서 제안된 시스템을 챌린지 베이스라인과 비교하는 것.

제안 방법

• 분류 기반으로 쿼리 임베딩과 클래스 프로토타입 간의 유클리드 거리를 사용하는 메트릭 공간을 학습하기 위해 프로토타입 네트워크를 사용한다.
• 오디오 신호는 128개의 밴드, 1024의 FFT 크기, 256의 홉 길이를 사용해 멜 스펙트로그램으로 변환되며, 이후 노이즈에 대한 강인성을 확보하기 위해 채널별 에너지 정규화(PCEN)를 적용한다.
• 데이터 증강 기법으로는 시간 스트레칭(±5%), 시간 마스킹(T개의 연속된 시간 스텝을 0으로 설정), 주파수 마스킹을 포함하며, 이는 Torchaudio를 통해 구현된다.
• 모델은 지원 세트에 대한 교차 엔트로피 손실을 사용해 엔드 투 엔드로 훈련되며, 프로토타입은 지원 임베딩의 평균값으로 계산된다.
• 시작 및 종료 시간은 주의 맵에 대해 임계값 설정과 에지 검출 방법을 적용한 후, 짧은 이벤트를 제거하기 위한 후처리를 거쳐 예측된다.
• 후처리 단계에서는 가장 짧은 진짜 이벤트 길이의 60% 이하인 이벤트를 제거하여 가짜 양성(False Positives)을 줄인다.

실험 결과

연구 질문

• RQ1 클래스당 레이블이 부여된 예시가 다섯 개인 조건에서 프로토타입 네트워크가 새로운 동물 음성 클래스로의 일반화를 효과적으로 수행할 수 있는가?
• RQ2 노이즈가 많은 생음향 데이터에서 PCEN 정규화가 로그-멜 스펙트로그램에 비해 모델 강인성 향상에 얼마나 효과적인가?
• RQ3 시간 스트레칭 및 마스킹과 같은 데이터 증강 기법이 소수의 학습 예제 기반 검출 성능 향상에 얼마나 기여하는가?
• RQ4 왜 데이터 증강을 적용한 모델는 기준 모델보다 높은 훈련 손실을 보이지만 검증 성능은 더 높은가?

주요 결과

• 최고의 성능을 보인 모델는 PCEN 정규화 스펙트로그램과 데이터 증강을 적용한 결과, 검증 세트에서 F-측정치 26.243%를 달성하였다.
• 기준 모델 대비 재현율이 크게 향상되어 38.1%로 상승하였으며, 이는 참 양성 이벤트를 더 잘 탐지하고 있음을 시사한다.
• 정밀도는 20.0%로 떨어졌는데, 이는 학습된 임베딩 공간 내에서의 분리도가 낮아 가짜 양성 이벤트가 다수 발생했기 때문이다.
• PCEN과 데이터 증강을 적용한 모델는 로그-멜 베이스라인(16.565% F-측정치)보다 성능이 뛰어났다.
• 높은 훈련 손실에도 불구하고 증강된 모델는 더 안정적인 수렴과 낮은 최소 손실 값을 기록하여 최적화 다이내믹스가 향상되었음을 시사한다.
• 후처리 과정은 참 양성 이벤트에 거의 영향을 주지 않으면서도 가짜 양성 이벤트를 줄이는 데 효과적이었으며, 예측 정제에 실용적임을 확인하였다.