[논문 리뷰] Proposal-based Few-shot Sound Event Detection for Speech and Environmental Sounds with Perceivers

Piper Wolters, Sizemore, Logan외 3명|arXiv (Cornell University)|2021. 07. 28.

Music and Audio Processing참고 문헌 39인용 수 9

한 줄 요약

이 논문은 장기 음성 기록에서 희귀하거나 미리 보지 않은 소리 이벤트의 국소화와 분류를 향상시키기 위해 Perceiver 아키텍처를 사용하는 프로포절 기반 소수 샘플 소리 이벤트 검출 프레임워크를 제안한다. 5-shot 5-way 작업에서 각각 새로운 ESC-CASE 및 Vox-CASE 데이터셋에서 F1 스코어 0.483과 0.418의 최신 기술(SOTA) 성능을 기록하며, 기준 방법보다 상대적으로 72.5%와 11.2% 향상되었다.

ABSTRACT

Many applications involve detecting and localizing specific sound events within long, untrimmed documents, including keyword spotting, medical observation, and bioacoustic monitoring for conservation. Deep learning techniques often set the state-of-the-art for these tasks. However, for some types of events, there is insufficient labeled data to train such models. In this paper, we propose a region proposal-based approach to few-shot sound event detection utilizing the Perceiver architecture. Motivated by a lack of suitable benchmark datasets, we generate two new few-shot sound event localization datasets: "Vox-CASE," using clips of celebrity speech as the sound event, and "ESC-CASE," using environmental sound events. Our highest performing proposed few-shot approaches achieve 0.483 and 0.418 F1-score, respectively, with 5-shot 5-way tasks on these two datasets. These represent relative improvements of 72.5% and 11.2% over strong proposal-free few-shot sound event detection baselines.

연구 동기 및 목표

• 새로운 소리 클래스에 대해 레이블이 부족한 상황에서 소수 샘플 소리 이벤트 검출의 과제를 해결하기 위해.
• 고정 윈도우 예측 대신 영역 프로포절을 사용하여 장기적이고 정제되지 않은 음성에서 국소화 정확도를 향상시키기 위해.
• 소수 샘플 음성 표현 학습을 위한 소리 이벤트 검출에서 Perceiver 아키텍처의 효과를 평가하기 위해.
• 에피소드 기반 소수 샘플 소리 이벤트 국소화를 위한 두 가지 새로운 벤치마크 데이터셋—ESC-CASE 및 Vox-CASE—을 제작하고 공개하기 위해.
• 특히 낮은 데이터 환경에서 소수 샘플 설정에서 프로포절 기반 접근법과 윈도우 수준 접근법을 비교하기 위해.

제안 방법

• 두 단계 프레임워크 제안: 먼저 영역 프로포절 네트워크(RPN)를 사용해 후보 시간 프로포절을 생성하고, 이후 Perceiver 기반 분류기를 사용해 이를 정제하고 분류한다.
• 장거리 음성 표현을 주의 메커니즘으로 처리하기 위해 Perceiver 아키텍처를 사용하여 전통적인 RoI 풀링을 대체함으로써 기능 집합을 향상시킨다.
• 소수 샘플 분류를 위해 프로토타입 네트워크를 활용하며, 지원 세트에서 클래스별 프로토타입을 클래스 임베딩으로 계산한다.
• 같은 예측 클래스를 가진 연속 프레임을 그룹화하고 신뢰도 점수를 평균화하여 윈도우 수준 예측을 프로포절 유사 영역으로 매핑한다.
• 에피소드 기반 학습 및 추론을 평가하여 N-way K-shot 작업을 통해 소수 샘플 시나리오를 시뮬레이션한다.
• ESC-CASE(환경 음향) 및 Vox-CASE(유명인 대화)를 위한 소수 샘플 평가를 위한 두 가지 새로운 벤치마크 데이터셋을 생성한다.

실험 결과

연구 질문

• RQ1 소수 샘플 소리 이벤트 검출에서 윈도우 수준 모델 대비 프로포절 기반 접근법이 우월한가?
• RQ2 Perceiver 아키텍처를 통합하면 표준 특징 추출 방법 대비 소수 샘플 소리 이벤트 검출 성능을 향상시키는가?
• RQ3 이벤트와 배경 노이즈 간의 음향 유사성에 따라 성능은 어떻게 변하는가?
• RQ4 샷 수(예: 5-shot 대비 10-shot)가 소수 샘플 설정에서 검출 성능에 어떤 영향을 미치는가?
• RQ5 특히 정제 헤드와 Perceiver와 같은 모델 구성 요소들이 국소화 정확도에 어떤 기여를 하는가?

주요 결과

• Perceiver를 사용하는 제안된 프로포절 기반 모델은 ESC-CASE 데이터셋에서 윈도우 수준 기준 모델 대비 F1 스코어 상대적 향상 72.5%를 기록하며 0.483 F1을 달성했다.
• Vox-CASE 데이터셋에서는 기준 모델 대비 F1 스코어 상대적 향상 11.2%를 기록하며 5-shot 5-way 작업에서 0.418 F1을 달성했다.
• RPN 이후 정제 레이어가 AP를 크게 향상시켜, 정확한 국소화를 위해 정제 과정이 필수적임을 시사한다.
• 이벤트-배경 에너지 비율(EBR)이 높을수록 성능이 향상되며, Perceiver는 ESC-CASE에서 Vox-CASE보다 더 큰 이점을 제공한다. 이는 ESC-CASE에서 이벤트와 배경 간 음향 유사성이 더 높기 때문일 것이다.
• 윈도우 수준 기준 모델은 Vox-CASE에서 높은 F1 스코어를 기록하여, 음향적으로 뚜렷한 이벤트의 경우 윈도우 수준 방법이 충분할 수 있음을 시사한다.
• 이벤트와 배경의 구분이 어려운 경우 Perceiver 모듈이 성능 향상에 가장 크게 기여함을 보여주어, 복잡한 음향 환경에서의 가치를 입증한다.