[논문 리뷰] Guided multi-branch learning systems for sound event detection with sound separation

Yuxin Huang, Liwei Lin외 6명|arXiv (Cornell University)|2020. 07. 21.

Music and Audio Processing참고 문헌 5인용 수 6

한 줄 요약

이 논문은 음향 이벤트 검출(Sound Event Detection, SED)을 위한 가이드된 다중지점 학습(Multi-Branch Learning, MBL) 시스템을 제안하며, 음향 분離( Sound Separation, SS)을 통합하고 공유된 특징 인코더 및 다양한 풀링 전략을 통해 성능을 향상시킨다. 주어진 특징 인코더를 공유하며 주의 풀링(attention pooling), 전역 평균/최대 풀링(global average/max pooling), 그리고 음향 이벤트 검출 브랜치를 조합함으로써, 공개 테스트 세트에서 F1 스코어 0.497, 검증 세트에서 0.472를 기록하며 최신 기술(SOTA) 성능을 달성한다. 이는 SS-SED 시스템을 통합한 결과이다.

ABSTRACT

In this paper, we describe in detail our systems for DCASE 2020 Task 4. The systems are based on the 1st-place system of DCASE 2019 Task 4, which adopts weakly-supervised framework with an attention-based embedding-level pooling module and a semi-supervised learning approach named guided learning. This year, we incorporate multi-branch learning (MBL) into the original system to further improve its performance. MBL uses different branches with different pooling strategies (including instance-level and embedding-level strategies) and different pooling modules (including attention pooling, global max pooling or global average pooling modules), which share the same feature encoder of the model. Therefore, multiple branches pursuing different purposes and focusing on different characteristics of the data can help the feature encoder model the feature space better and avoid over-fitting. To better exploit the strongly-labeled synthetic data, inspired by multi-task learning, we also employ a sound event detection branch. To combine sound separation (SS) with sound event detection (SED), we fuse the results of SED systems with SS-SED systems which are trained using separated sound output by an SS system. The experimental results prove that MBL can improve the model performance and using SS has great potential to improve the performance of SED ensemble system.

연구 동기 및 목표

• 약한 레이블이 부여된 데이터, 레이블이 없는 데이터, 그리고 합성 데이터를 활용하여 음향 이벤트 검출(Sed) 성능을 향상시키기 위해.
• 음향 분리(SS)를 SED 시스템에 통합하여 검출 정확도를 향상시키기 위해.
• 공유된 인코더를 활용한 다중지점 학습(MBL)을 통해 과적합을 완화하고 특징 공간 모델링을 향상시키기 위해.
• 다중태스크 학습 원칙을 기반으로 한 전용 SED 브랜치를 도입하여 합성 데이터를 보다 효과적으로 활용하기 위해.
• 표준 SED 시스템과 SS-SED 시스템을 앙상블 모델에 융합했을 때의 영향을 평가하기 위해.

제안 방법

• 다양한 풀링 전략을 가진 여러 지점에 공유된 합성곱 신경망(Convolutional Neural Network, CNN) 특징 인코더를 사용한다: 임bedding 수준(E-) 및 인스턴스 수준(I-) 풀링.
• 각 지점은 주목적 풀링 모듈을 별도로 활용한다: 주의 풀링(ATP), 전역 평균 풀링(GAP), 또는 전역 최대 풀링(GMP), 이는 다양한 특징 추출을 가능하게 한다.
• 전문가 교사 모델(PT-model)과 유망한 학생 모델(PS-model)이 레이블이 있는 데이터와 가짜 레이블 데이터를 함께 사용하여 공동으로 훈련하는 가이드된 학습 프레임워크를 적용한다.
• 레이블이 없는 데이터에 대해서는 PS-model이 PT-model으로부터 유도된 가짜 레이블을 사용하며, 웜업 단계 이후에는 PS-model의 예측 결과를 활용해 PT-model의 가짜 레이블을 개선한다.
• 합성 데이터의 강력한 레이블을 보다 효과적으로 활용하기 위해 다중태스크 학습 원칙을 따르는 전용 음향 이벤트 검출 브랜치를 도입한다.
• 기본 SS 시스템의 출력 결과를 기반으로 SED 모델을 훈련시켜 음향 분리를 통합하고, 앙상블 시스템에서 성능을 향상시키기 위해 결과를 융합한다.

실험 결과

연구 질문

• RQ1 다양한 풀링 전략을 가진 다중지점 학습이 약한 감독 설정에서 음향 이벤트 검출 성능을 향상시킬 수 있는가?
• RQ2 앙상블 학습을 통해 SED 시스템에 음향 분리를 통합할 경우 성능 향상이 측정 가능한가?
• RQ3 SED를 위한 보조 지점이 약한 감독 프레임워크에서 합성된 강력한 레이블이 부여된 데이터의 활용도를 향상시킬 수 있는가?
• RQ4 다양한 풀링 모듈(예: ATP, GAP, GMP)의 조합이 모델의 일반화 능력과 강건성에 어떤 영향을 미치는가?
• RQ5 음향 분리 시스템에서 분리된 오디오 출력을 사용할 경우 SED 앙상블 시스템의 성능이 향상되는가?

주요 결과

• 표준 SED 및 SS-SED 시스템을 모두 포함한 앙상블 시스템은 공개 테스트 세트에서 F1 스코어 0.495, 검증 세트에서 0.472를 기록했으며, SS를 통합하지 않은 시스템보다 성능이 뛰어나다.
• 가장 뛰어난 성능을 보인 앙상블 시스템인 SED-Ensemble(제출됨)은 공개 테스트 세트에서 F1 스코어 0.497, 검증 세트에서 0.467을 기록했다.
• 앙상블에서 세 개의 SS-SED 모델을 실데이터로 훈련된 모델로 대체한 결과 성능 저하가 발생했으며(F1: 테스트 세트에서 0.485), 이는 SS-SED 시스템이 고유하고 상호 보완적인 특징을 기여하고 있음을 시사한다.
• 기본 E-ATP 모델에 보조 지점(I-GMP, I-GAP)을 추가하면 성능 향상이 이루어졌으며, 가장 우수한 개별 모델(E-ATP + I-GAP)은 검증 세트에서 F1 스코어 0.451을 기록했다.
• 교사 모델과 학생 모델의 가짜 레이블링을 통한 가이드된 학습 방식이 레이블이 없는 데이터를 효과적으로 활용하여 일반화 능력 향상에 기여했다.
• 결과적으로, 앙상블 학습을 통해 음향 분리와 SED를 융합함으로써 시스템의 강건성과 정확도가 크게 향상됨을 입증했다.