[논문 리뷰] Guided multi-branch learning systems for DCASE 2020 Task 4.

Yuxin Huang, Liwei Lin외 6명|arXiv (Cornell University)|2020. 07. 21.

Music and Audio Processing인용 수 8

한 줄 요약

이 논문은 DCASE 2020 Task 4를 위한 가이드된 다중지점 학습(MBL) 시스템을 제안하며, 이는 이전의 약한 감독 기반 SED 프레임워크를 다중 풀링 전략과 음향 이벤트 탐지 지점(SEDB)을 통합하여 특징 표현과 일반화 능력을 향상시킨다. MBL과 음향 분리(SS)를 융합함으로써 합성 데이터와 다중 소스 훈련을 사용하여 SED 정확도를 크게 향상시킨다.

ABSTRACT

In this paper, we describe in detail our systems for DCASE 2020 Task 4. The systems are based on the 1st-place system of DCASE 2019 Task 4, which adopts weakly-supervised framework with an attention-based embedding-level multiple instance learning pooling module and a semi-supervised learning approach named Guided learning (GL). This year, we incorporate Multiple branch learning (MBL) into the original system to further improve its performance. MBL makes different branches with different pooling strategies (including instance-level and embedding-level strategies) and different pooling modules (including attention pooling, global max pooling or global average pooling modules) share the same feature encoder of the model. Therefore, multiple branches pursuing different purposes and focusing on different characteristics of the data can help the feature encoder model the feature space better and avoid over-fitting. To better exploit the strongly-labeled synthetic data, inspired by multi-task learning, we also employ a sound event detection branch (SEDB). To combine sound separation (SS) with sound event detection (SED), we fuse the results of SED systems with SS-SED systems which are trained using separated sources output by an SS system. The experimental results prove that MBL can improve the model performance and using SS has great potential to improve the performance of SED ensemble system.

연구 동기 및 목표

• 다양한 풀링 전략을 가진 다중 학습 지점의 활용을 통해 약한 감독 기반 음향 이벤트 탐지(SED) 시스템의 성능을 향상시키는 것.
• 다른 풀링 모듈을 갖춘 단일 특징 인코더를 다중 지점 간에 공유하여 특징 표현을 향상시키고 과적합을 줄이는 것.
• 다중 작업 학습 원리를 기반으로 강한 레이블이 부여된 합성 데이터를 효과적으로 활용하기 위해 전용 음향 이벤트 탐지 지점(SEDB)을 도입하는 것.
• 음향 분리(이하 SS)와 SED를 융합하여, 분리된 오디오 소스에서 훈련된 SS-SED 시스템의 출력을 융합하는 것.
• 다중지점 학습과 SS 기반 앙상블 방법의 효과를 DCASE 2020 Task 4의 SED 성능 향상에 대해 검증하는 것.

제안 방법

• 다양한 풀링 전략(개체 수준 및 임bedding 수준)과 풀링 모듈(주의 기반, 전역 최대, 전역 평균 풀링)을 적용하는 공통 특징 인코더를 공유하는 다중지점 학습(MBL) 프레임워크를 도입한다.
• 약한 레이블이 부여된 데이터를 효과적으로 활용하기 위해 DCASE 2019 1등 시스템의 가이드된 학습(GL) 준감독 접근법을 적용한다.
• 강한 레이블이 부여된 합성 데이터를 효과적으로 활용하기 위해 전용 음향 이벤트 탐지 지점(SEDB)을 도입하여 다중 작업 학습 원리를 통해 모델의 일반화 능력을 향상시킨다.
• 음향 분리(이하 SS) 시스템에서 분리된 오디오 소스에서 훈련된 SS-SED 모델의 출력을 융합하여 SED 시스템의 성능을 향상시킨다.
• 약한 레이블이 부여된 데이터에서 관련 세그먼트에 집중하기 위해 주의 기반 임베딩 수준의 다중 인스턴스 학습 풀링을 사용한다.
• 앙상블 학습을 통해 다수의 모델을 결합하며, SS-SED 출력을 활용해 최종 SED 예측을 보정한다.

실험 결과

연구 질문

• RQ1 다양한 풀링 전략을 가진 다중지점 학습이 약한 감독 기반 SED 모델의 일반화 능력과 견고성에 기여하는가?
• RQ2 합성 데이터를 위한 전용 SED 지점을 통합할 경우 실세계 SED 작업에서의 모델 성능 향상 정도는 어느 정도인가?
• RQ3 SS 출력을 SED 시스템과 융합하는 것이 탐지 정확도 향상에 얼마나 효과적인가?
• RQ4 공유된 인코더 아키텍처 내에서 다양한 풀링 모듈(예: 주의, 최대, 평균)을 결합할 경우 단일 지점 기반 베이스라인 대비 더 나은 특징 학습이 이루어지는가?
• RQ5 SS-SED 시스템의 통합이 준감독 설정에서 표준 SED 시스템을 상당히 능가하는가?

주요 결과

• 제안된 다중지점 학습(MBL) 프레임워크는 다양한 풀링 전략을 통해 특징 표현을 향상시켜 기반 약한 감독 기반 시스템 대비 성능 향상을 이룬다.
• 합성 데이터를 위한 음향 이벤트 탐지 지점(SEDB)의 통합은 성능 향상에 상당한 기여를 하며, 준감독 설정에서 강한 레이블을 효과적으로 활용할 수 있음을 입증한다.
• SS-SED 시스템의 출력을 표준 SED 시스템과 융합함으로써 성능 향상이 뚜렷하게 나타나, 음향 분리 기술이 SED 앙상블의 잠재력을 입증한다.
• 주의 기반 풀링과 다중 풀링 모듈의 조합은 모델이 주요 이벤트 세그먼트에 집중하도록 도와주어 탐지 정확도를 향상시킨다.
• 전체 시스템은 DCASE 2020 Task 4에서 최고 성능을 기록하며, 특히 도전적인 탐지 시나리오에서 이전 방법 대비 정량적 성능 향상을 보였다.
• 실험 결과는 MBL이 입력 데이터의 다양한 측면을 모델링하도록 유도함으로써 과적합을 줄이고 일반화 능력을 향상시킨다는 점을 검증한다.