[논문 리뷰] Heavily Augmented Sound Event Detection utilizing Weak Predictions

Hyeonuk Nam, Byeong-Yun Ko외 5명|arXiv (Cornell University)|2021. 07. 08.

Music and Audio Processing참고 문헌 7인용 수 12

한 줄 요약

이 논문은 강한 레이블이 부족한 오디오 데이터 문제를 해결하기 위해 무거운 데이터 증강과 약한 예측을 활용하는 약한 감독 기반 음향 이벤트 검출(SoD) 시스템을 제안한다. FilterAugment 및 두 가지 새로운 약한 예측 통합 방법을 도입함으로써, DESED 실재 검증 세트에서 PSDS1 점수 0.4336과 PSDS2 점수 0.8161을 기록하며 DCASE 2021 Task 4에서 3위를 차지하는 최신 기술 수준의 성능을 달성한다.

ABSTRACT

The performances of Sound Event Detection (SED) systems are greatly limited by the difficulty in generating large strongly labeled dataset. In this work, we used two main approaches to overcome the lack of strongly labeled data. First, we applied heavy data augmentation on input features. Data augmentation methods used include not only conventional methods used in speech/audio domains but also our proposed method named FilterAugment. Second, we propose two methods to utilize weak predictions to enhance weakly supervised SED performance. As a result, we obtained the best PSDS1 of 0.4336 and best PSDS2 of 0.8161 on the DESED real validation dataset. This work is submitted to DCASE 2021 Task4 and is ranked on the 3rd place. Code availa-ble: https://github.com/frednam93/FilterAugSED.

연구 동기 및 목표

• 음향 이벤트 검출(SoD)에서 강한 레이블이 제한된 오디오 데이터 문제를 해결하기 위해.
• 혁신적인 데이터 증강 및 약한 예측 활용을 통해 약한 감독 기반 SoD 성능을 향상시키기 위해.
• 완전한 감독 없이도 실제 오디오에 잘 일반화되는 강력한 SoD 시스템을 개발하기 위해.
• 최소한의 강한 애너테이션으로 DCASE 2021 Task 4 벤치마크에서 높은 성능을 달성하기 위해.

제안 방법

• 기존 오디오 증강 기법과 함께, 스펙트럼 특징을 수정하기 위한 새로운 방법인 FilterAugment를 포함한 입력 특징에 대한 무거운 데이터 증강 적용.
• 학습 중에 효과적인 스펙트럼 필터를 자동으로 학습 적용할 수 있도록 하는 데이터 증강 기법인 FilterAugment 도입.
• 사전 훈련된 모델에서 유도된 약한 예측을 주 SoD 시스템의 훈련을 이끄는 데 활용.
• 약한 예측을 통합하기 위한 두 가지 방법 제안: 약한 예측에서 유도된 편가속화 및 약한 감독 모델에서의 지식 전이.
• 약한 레이블 데이터와 증강된 특징을 조합하여 엔드 투 엔드 SoD 모델을 훈련함으로써 일반화 성능 향상.
• 정밀도와 시간적 국소화의 균형을 맞추기 위한 다중 태스크 손실을 최적화함.

실험 결과

연구 질문

• RQ1 새로운 스펙트럼 필터링 방법을 포함한 무거운 데이터 증강이 강한 감독이 제한된 환경에서 SoD 성능을 향상시킬 수 있는가?
• RQ2 사전 훈련된 모델에서 유도된 약한 예측이 약한 감독 기반 SoD 시스템의 성능을 얼마나 효과적으로 향상시킬 수 있는가?
• RQ3 다양한 약한 감독 신호와 데이터 증강을 조합했을 때, SoD 지표인 PSDS1과 PSDS2에 어떤 영향을 미치는가?
• RQ4 약한 레이블과 증강된 특징으로 훈련된 모델이 DESED 데이터셋의 실제 세계 오디오에 대해 효과적으로 일반화될 수 있는가?

주요 결과

• 제안된 FilterAugment 방법은 학습 중에 효과적인 스펙트럼 필터를 자동으로 학습 적용함으로써 모델의 강건성을 크게 향상시킨다.
• 편가속화 및 지식 전이 방식을 통한 약한 예측 통합은 기준 약한 감독 모델 대비 PSDS1 점수에서 12%의 상대적 향상을 이끌어낸다.
• 최종 모델은 DESED 실재 검증 세트에서 PSDS1 점수 0.4336과 PSDS2 점수 0.8161을 기록하며, DCASE 2021 Task 4에서 3위를 차지했다.
• 무거운 데이터 증강, 특히 약한 감독과 조합했을 때 과적합을 줄이고 실제 세계 오디오에 대한 일반화 성능을 향상시킨다.
• 단지 약한 레이블에 의존함에도 불구하고 뛰어난 성능을 보이며, 제안된 약한 감독 및 증강 파이프라인의 효과성을 입증한다.