[논문 리뷰] Adaptive Few-Shot Learning Algorithm for Rare Sound Event Detection

Chendong Zhao, Jianzong Wang외 3명|arXiv (Cornell University)|2022. 05. 24.

Music and Audio Processing인용 수 4

한 줄 요약

이 논문은 소수 샘플 음향 이벤트 검출을 위한 작업 적응형 모듈을 제안하며, 모든 지원 예제 간의 클래스 간 차이와 클래스 내 공통성을 모델링하여 메트릭 기반 소수 샘플 학습을 향상시키고, 특징 표현의 적응 가능성 향상을 도모한다. 이 방법은 최신 기술 수준의 성능을 달성하였으며, 5-way 1-shot 설정에서 ESC-50과 noiseESC-50에서 각각 +6.8% 및 +5.9%의 정확도 향상을 기록하였다.

ABSTRACT

Sound event detection is to infer the event by understanding the surrounding environmental sounds. Due to the scarcity of rare sound events, it becomes challenging for the well-trained detectors which have learned too much prior knowledge. Meanwhile, few-shot learning methods promise a good generalization ability when facing a new limited-data task. Recent approaches have achieved promising results in this field. However, these approaches treat each support example independently, ignoring the information of other examples from the whole task. Because of this, most of previous methods are constrained to generate a same feature embedding for all test-time tasks, which is not adaptive to each inputted data. In this work, we propose a novel task-adaptive module which is easy to plant into any metric-based few-shot learning frameworks. The module could identify the task-relevant feature dimension. Incorporating our module improves the performance considerably on two datasets over baseline methods, especially for the transductive propagation network. Such as +6.8% for 5-way 1-shot accuracy on ESC-50, and +5.9% on noiseESC-50. We investigate our approach in the domain-mismatch setting and also achieve better results than previous methods.

연구 동기 및 목표

• 풍부한 기본 클래스에서 학습된 모델의 과적합과 제한된 레이블 데이터로 인한 희귀 음향 이벤트 검출의 과제를 해결한다.
• 기존 메트릭 기반 소수 샘플 학습 프레임워크가 지원 예제를 독립적으로 다루며 예제 간 관계를 忽略하는 한계를 극복한다.
• 모든 지원 예제를 공동으로 모델링하여 작업별로 특화된 분류 가능한 특징을 식별함으로써, 저자료 환경에서의 일반화 능력을 향상시킨다.
• 도메인 불일치 상황에서 모델의 강건성을 향상시키기 위해 도메인 불변 표현과 주의 메커니즘을 통합한다.
• 기존 소수 샘플 학습 프레임워크와 호환되는 플러그인 모듈을 개발하여 아키텍처의 대대적 개편 없이 성능 향상을 도모한다.

제안 방법

• 모든 지원 예제에서 정보를 집계하여 클래스 내 공통성과 클래스 간 차이를 식별하는 작업 적응형 추출기(TAE)를 도입한다.
• 전체 지원 세트에 주목함으로써 클래스 간 구별 특징을 학습하는 프로젝터 헤드를 설계하여, 입력 쿼리별로 적응형 특징 가중치를 가능하게 한다.
• 학습 다양성을 증가시키고 자료 부족 문제를 완화하기 위해 음향 이벤트 중심의 데이터 증강 전략을 통합한다.
• 원시 오디오 임베딩의 시간적 및 채널별 맥락을 포착하기 위해 특징 인코더에 주의 메커니즘을 통합한다.
• 메트릭 기반 프레임워크인 프로토타입 네트워크와 TPN과 함께 작업 적응형 모듈을 통합하여 최소한의 수정으로 종단 간 학습이 가능하도록 한다.
• 일반화 능력을 향상시키기 위해 도메인 적응(DA)과 시간/채널 인지 증강을 적용한다.

Figure 1: An toy example to illustrate the motivation. (a) defines a 5-way 1-shot task. There’re three features: Tone , Timbre and loudness . Different color means different value of the feature, same color adds the similarity score by 1; (b) In the k-shot (k=3) setting, all examples of class c3 sha

실험 결과

연구 질문

• RQ1 지원 예제 간 관계를 모델링하면 독립적인 유사도 계산을 초월하여 소수 샘플 음향 이벤트 검출 성능을 향상시킬 수 있는가?
• RQ2 작업 적응형 모듈은 클래스 내 공통성과 클래스 간 유일성을 포착함으로써 특징 표현을 어떻게 향상시키는가?
• RQ3 학습 및 테스트 데이터가 서로 다른 분포에서 온 도메인 불일치 상황에서 제안된 방법의 일반화 능력은 어느 정도인가?
• RQ4 주의 메커니즘과 데이터 증강의 통합이 ESC-50 및 noiseESC-50와 같은 다양한 벤치마크에서 일관된 성능 향상을 이끌어내는가?
• RQ5 1-shot 설정에서는 뛰어난 성능를 보였지만, 다중 샷 설정에서는 성능이 떨어지는 이유는 무엇이며, 빠른 적응에서의 한계는 무엇인가?

주요 결과

• 제안된 방법은 기준 모델인 ProtoNet 대비 ESC-50 데이터셋에서 5-way 1-shot 정확도에서 +6.8% 향상을 기록하였다.
• noiseESC-50 데이터셋에서는 기준 모델 대비 5-way 1-shot 정확도에서 +5.9% 향상을 기록하여 노이즈가 있는 오디오에 대한 강건성을 입증하였다.
• 도메인 불일치 설정에서 TA+ProtoNet+DA 모델은 음악 분류에 AUC 0.779, 동물 분류에 AUC 0.705를 기록하여 모든 기준 모델을 초월하였다.
• 주의 메커니즘이 짧은 이벤트인 '총성'의 국소화를 더 잘 수행하며, 비주의 모델 대비 짧은 이벤트의 거짓 음성 감소를 이끌었다.
• 시간 및 채널 인지 데이터 증강을 적용한 모델는 도메인 불일치 평가에서 가장 높은 AUC(음악 분류 0.857, 동물 분류 0.768)를 기록하였다.
• 시각적 분석 결과, 주의 메커니즘이 올바른 지원 예제를 정확히 식별하는 반면, 비주의 모델은 침묵이나 배경 유사성으로 인해 잘못된 매칭을 자주 선택하는 것으로 확인되었다.

Figure 2: Two metric-based few-shot learning methods.