[논문 리뷰] Multi-Task Learning for Interpretable Weakly Labelled Sound Event Detection

Soham Deshmukh, Bhiksha Raj외 1명|arXiv (Cornell University)|2020. 08. 17.

Music and Audio Processing참고 문헌 45인용 수 4

한 줄 요약

이 논문은 시간-주파수(T-F) 재구성 보조 과제와 이중 단계 주의 풀링 메커니즘을 함께 최적화하는 다중 과제 학습 프레임워크를 제안한다. 이는 약한 레이블이 부여된 음향 이벤트 검출(Sed)에 적용되며, 내부 T-F 표현의 노이즈 제거와 설명 가능성 향상을 통해 성능을 향상시킨다. 각각 0, 10, 20 dB SNR에서 벤치마크 대비 상대 F1 점수 향상률이 22.3%, 12.8%, 5.9%를 기록한다.

ABSTRACT

Weakly Labelled learning has garnered lot of attention in recent years due to its potential to scale Sound Event Detection (SED) and is formulated as Multiple Instance Learning (MIL) problem. This paper proposes a Multi-Task Learning (MTL) framework for learning from Weakly Labelled Audio data which encompasses the traditional MIL setup. To show the utility of proposed framework, we use the input TimeFrequency representation (T-F) reconstruction as the auxiliary task. We show that the chosen auxiliary task de-noises internal T-F representation and improves SED performance under noisy recordings. Our second contribution is introducing two step Attention Pooling mechanism. By having 2-steps in attention mechanism, the network retains better T-F level information without compromising SED performance. The visualisation of first step and second step attention weights helps in localising the audio-event in T-F domain. For evaluating the proposed framework, we remix the DCASE 2019 task 1 acoustic scene data with DCASE 2018 Task 2 sounds event data under 0, 10 and 20 db SNR resulting in a multi-class Weakly labelled SED problem. The proposed total framework outperforms existing benchmark models over all SNRs, specifically 22.3 %, 12.8 %, 5.9 % improvement over benchmark model on 0, 10 and 20 dB SNR respectively. We carry out ablation study to determine the contribution of each auxiliary task and 2-step Attention Pooling to the SED performance improvement. The code is publicly released

연구 동기 및 목표

• 강한 레이블이 부여된 음향 이벤트 검출의 확장성과 레이블링 비용 문제를 약한 레이블이 부여된 데이터를 활용하여 해결한다.
• 노이즈 조건 하에서 약한 레이블이 부여된 SED 모델의 강건성과 설명 가능성을 향상시킨다.
• 보조 재구성 과제를 통해 특징 표현을 향상시키는 다중 과제 학습 프레임워크를 개발한다.
• 이중 단계 주의 풀링 메커니즘을 도입하여 T-F 표현 내에서 세밀한 시간 및 주파수 정보를 유지한다.
• 시각화 가능한 주의 가중치를 통해 음향 이벤트의 더 나은 국소화와 이해를 가능하게 한다.

제안 방법

• SED를 주된 과제로, T-F 로그멜 스펙트로그램 재구성을 보조 과제로 삼는 다중 과제 학습 문제로 설정한다.
• 입력 오디오에서 계층적 표현을 추출하기 위해 2차원 평균 풀링을 적용한 공유 인코더를 사용한 후, 이중 단계 주의 풀링 메커니즘을 적용한다.
• 첫 번째 단계 주의 풀링을 통해 모든 음향 이벤트에 걸쳐 관심 영역이 되는 시간-주파수 영역을 식별한다.
• 두 번째 단계 주의 풀링을 통해 특정 이벤트에 대해 보다 정교하게 주의 가중치를 조정하고, 최종적인 이벤트 수준 예측을 생성한다.
• SED에 대해 이진 교차 엔트로피 손실, 재구성에 대해 평균 제곱오차 손실을 사용하여 모델을 엔드 투 엔드로 훈련한다.
• 공유 인코더의 표현에서 입력 로그멜 스펙트로그램을 재구성하기 위해 디코더 헤드를 활용하여 내부 표현의 노이즈 제거를 강제한다.

실험 결과

연구 질문

• RQ1 T-F 재구성 과제를 보조 과제로 포함한 다중 과제 학습 프레임워크가 노이즈 조건 하에서 약한 레이블이 부여된 음향 이벤트 검출의 강건성과 성능을 향상시킬 수 있는가?
• RQ2 이중 단계 주의 풀링 메커니즘은 시간-주파수 도메인에서 설명 가능성과 국소화 정확도를 어떻게 향상시키는가?
• RQ3 보조 재구성 과제가 내부 T-F 표현의 노이즈 제거와 SED 성능 향상에 기여하는 정도는 어느 정도인가?
• RQ4 다양한 신호 대 잡음비(SNR)에서 제안된 프레임워크가 기존의 벤치마크 모델과 비교해 어떻게 성능을 내는가?
• RQ5 보조 과제에서 도출된 노이즈 제거된 T-F 표현을 오디오 소스 분리와 같은 후속 작업에 활용할 수 있는가?

주요 결과

• 0 dB SNR에서 제안된 프레임워크는 벤치마크 모델 대비 F1 점수에서 22.3%의 상대적 향상을 기록한다.
• 10 dB SNR에서 모델은 F1 점수에서 12.8%의 상대적 향상을 보이며 노이즈에 대한 강건성을 입증한다.
• 20 dB SNR에서도 모델은 여전히 F1 점수에서 5.9%의 상대적 향상을 기록하여 고잡음 조건에서도 지속적인 성능 향상을 보인다.
• 절단 실험 결과, 이중 단계 주의 풀링 메커니즘이 성능 향상의 주요 원동력이며 보조 재구성 과제보다 더 큰 기여를 한다.
• 보조 재구성 과제가 F1 점수에 약 1%의 향상 기여를 하며 내부 표현의 노이즈 제거 기능을 수행함을 시사한다.
• 주의 가중치의 시각화 결과, 모델이 실제 이벤트 발생 시점과 지속 시간에 매우 잘 대응하여 시간-주파수 도메인에서 음향 이벤트를 국소화함을 확인할 수 있다.