[논문 리뷰] Segment-level Metric Learning for Few-shot Bioacoustic Event Detection

Haohe Liu, Xubo Liu외 4명|arXiv (Cornell University)|2022. 07. 15.

Animal Vocal Communication and Behavior인용 수 5

한 줄 요약

이 논문은 소수 샘플 생음향 이벤트 검출을 위한 세그먼트 수준 메트릭 학습 프레임워크를 제안하며, 훈련 중 양성 및 음성 오디오 세그먼트를 동시에 최적화하여 모델 일반화 능력을 향상시킨다. 전이 추론을 통합하고 훈련 데이터의 91.3%를 차지하는 음성 이벤트를 활용함으로써, 이 방법은 DCASE2022-T5 검증 세트에서 F-측정치 62.73을 달성하여 기준 모델인 프로토타입 네트워크보다 28.71점 높게 기록하고 도전 대회에서 2위를 차지했다.

ABSTRACT

Few-shot bioacoustic event detection is a task that detects the occurrence time of a novel sound given a few examples. Previous methods employ metric learning to build a latent space with the labeled part of different sound classes, also known as positive events. In this study, we propose a segment-level few-shot learning framework that utilizes both the positive and negative events during model optimization. Training with negative events, which are larger in volume than positive events, can increase the generalization ability of the model. In addition, we use transductive inference on the validation set during training for better adaptation to novel classes. We conduct ablation studies on our proposed method with different setups on input features, training data, and hyper-parameters. Our final system achieves an F-measure of 62.73 on the DCASE 2022 challenge task 5 (DCASE2022-T5) validation set, outperforming the performance of the baseline prototypical network 34.02 by a large margin. Using the proposed method, our submitted system ranks 2nd in DCASE2022-T5. The code of this paper is fully open-sourced at https://github.com/haoheliu/DCASE_2022_Task_5.

연구 동기 및 목표

• 모델 훈련 중에 미사용된 경향이 있던 음성 오디오 세그먼트를 활용하여 소수 샘플 생음향 이벤트 검출 성능을 향상시키는 것.
• 훈련 중에 미사용된 검증 데이터를 활용하는 전이 추론 기반 기법을 통해 모델 일반화 능력을 향상시키는 것.
• 입력 특징, 임bedding 차원, 데이터 증강 기법이 소수 샘플 SED 성능에 미치는 영향을 조사하는 것.
• 다중 임계치 및 후처리 설정을 고려할 때, F-측정치보다 PSDS가 소수 샘플 오디오 검출에 더 견고한 평가 지표인지 평가하는 것.
• DCASE2022-T5 벤치마크에서 최고 성능을 내는 완전한 오픈소스 시스템을 개발하는 것.

제안 방법

• M개의 세그먼트씩 각 클래스별로 지원 및 쿼리 세트로 사용하는 N-웨이-M-샷 설정에서 에피소드 기반 훈련을 수행하는 프로토타입 네트워크 아키텍처를 사용한다.
• 학습 가능한 특징 추출기를 통해 오디오 세그먼트를 잠재 공간에 임베딩하고, 동일 클래스의 임베딩 평균을 통해 프로토타입을 형성한다.
• 동일 클래스의 양성 세그먼트 뿐만 아니라, 양성과 음성 세그먼트 간의 대비 손실을 적용하여 결정 경계의 강건성을 향상시킨다.
• 훈련 중에 미사용된 검증 데이터를 활용하여 예측을 정밀화하고 모델 파라미터를 반복적으로 갱신하는 전이 추론 기법을 적용한다.
• 입력 특징으로 PCEN과 Δ-MFCC를 사용하고, 임베딩 차원을 제어하기 위해 적응형 평균 풀링을 적용하며, 검출 출력을 정밀화하기 위해 후처리를 수행한다.
• 음성 세그먼트 사용 여부, 전이 추론, 후처리, 데이터 조합(DCASE2022-T5 + AudioSet-SL)에 대한 추론 실험을 수행한다.

실험 결과

연구 질문

• RQ1 기존 메트릭 학습에서 미사용된 경향이 있던 음성 오디오 세그먼트를 통합함으로써 소수 샘플 생음향 이벤트 검출 성능 향상이 가능한가?
• RQ2 미사용된 검증 데이터를 활용하는 전이 추론이 소수 샘플 SED에서 모델 일반화 능력을 크게 향상시키는가?
• RQ3 어느 입력 특징 조합(예: PCEN + Δ-MFCC)이 DCASE2022-T5 벤치마크에서 최고의 성능을 내는가?
• RQ4 도메인 불일치 데이터(예: DCASE2022-T5와 AudioSet-SL)를 조합하면 모델의 강건성과 전체 성능에 어떤 영향을 미치는가?
• RQ5 다중 임계치 및 후처리 설정을 고려할 때, F-측정치보다 PSDS가 소수 샘플 오디오 검출에 더 적합한 평가 지표인가?

주요 결과

• 제안된 방법은 DCASE2022-T5 검증 세트에서 F-측정치 62.73을 달성하여 기준 프로토타입 네트워크(34.02)보다 뚜렷한 향상을 보였다.
• 이 시스템은 DCASE2022-T5 도전 대회에서 2위를 기록하여 새로운 생음향 클래스에 대한 강력한 일반화 능력과 강건성을 입증했다.
• 음성 세그먼트에 대한 대비 손실를 제거하면 F-측정치가 55.25로 감소하여 음성 이벤트가 성능 향상에 핵심적임을 시사한다.
• 전이 추론을 적용함으로써 F-측정치가 56.37에서 62.73으로 향상되어, 새로운 클래스에 적응하는 데서의 가치를 입증했다.
• PCEN과 Δ-MFCC를 입력 특징으로 사용할 경우 가장 우수한 성능을 기록했으며, 추론 실험에서 다른 조합보다 뛰어난 성능을 보였다.
• DCASE2022-T5와 AudioSet-SL 데이터를 조합하면 PSDS가 58.77로 가장 높게 기록되었으며, F-측정치는 감소했음에도 불구하고 다양한 임계치에서의 일반화 능력 향상이 확인되었다.