[논문 리뷰] Improving Sound Event Detection In Domestic Environments Using Sound Separation

Nicolas Turpault, Scott Wisdom외 6명|arXiv (Cornell University)|2020. 07. 08.

Music and Audio Processing인용 수 28

한 줄 요약

이 논문은 복잡한 도메인 환경에서 겹치는 소리와 노이즈가 있는 상황에서 음향 이벤트 검출(Sound Event Detection, SED) 성능을 햖을 때, 보편적인 음향 분리(Universal Sound Separation, SS)를 사전 처리 단계로 사용하는 것을 제안한다. 다양한 단계(초기, 중간, 후기)에서 분리된 오디오 소스를 SED 시스템에 통합함으로써, 겹치는 이벤트나 저에너지 이벤트의 검출 성능을 향상시킨다. 특히, 미세조정된 SS 모델을 사용한 후기 통합 방식이 가장 뛰어난 성능을 보였으며, F1: 39.2%, PSDS: 0.574의 결과를 기록하였다.

ABSTRACT

Performing sound event detection on real-world recordings often implies dealing with overlapping target sound events and non-target sounds, also referred to as interference or noise. Until now these problems were mainly tackled at the classifier level. We propose to use sound separation as a pre-processing for sound event detection. In this paper we start from a sound separation model trained on the Free Universal Sound Separation dataset and the DCASE 2020 task 4 sound event detection baseline. We explore different methods to combine separated sound sources and the original mixture within the sound event detection. Furthermore, we investigate the impact of adapting the sound separation model to the sound event detection data on both the sound separation and the sound event detection.

연구 동기 및 목표

• 실세계의 SED에서 겹치는 소리와 비대상 소리 이벤트로 인해 성능 저하가 발생하는 문제를 해결한다.
• 분류 이전에 대상 이벤트를 분리함으로써 음향 분리가 SED 성능을 향상시킬 수 있는지 조사한다.
• 일반적인 음향 분리 모델을 SED 전용 데이터에 맞게 적응시켜 일반화 능력을 향상시키는 영향을 탐색한다.
• 분리된 소스와 혼합 오디오를 SED 파이프라인에 통합하는 세 가지 전략(초기, 중간, 후기)의 성능을 비교한다.
• 학습 가능한 융합 가중치를 사용하여 분리된 소스와 원본 혼합 오디오를 융합하는 효과를 평가한다.

제안 방법

• 혼합된 합성 데이터와 실재 데이터를 사용하여, Free Universal Sound Separation(FUSS) 데이터셋에서 사전 학습된 보편적 음향 분리(Universal Sound Separation, USS) 모델을 SED 전용 데이터에 대해 미세조정한다.
• 입력 혼합 오디오에 음향 분리를 적용하여 개별 소리 원천을 나타내는 다수의 분리된 오디오 트랙을 생성한다.
• 혼합 오디오와 분리된 소스를 SED 파이프라인에 세 가지 전략으로 통합한다: 초기 통합(입력 채널로 연결), 중간 통합(컨볼루션 신경망 특징 추출 후 연결), 후기 통합(예측 결과에 대해 학습 가능한 가중치로 융합).
• 기본 모델로 평균-선생 모델(Mean-Teacher)을 사용하며, 추론 시에는 학생 모델을 사용하고, 선생 모델은 일致성 정규화를 제공한다.
• 활성 소스만 비영이 되도록 유도하는 수정된 손실 함수를 사용하여 SS 모델을 훈련시켜 가변 수의 소스 분리를 가능하게 한다.
• 검증 세트를 사용하여 후기 통합 가중치(p 및 q)를 최적화하여 혼합 오디오와 분리된 소스의 기여도를 균형 있게 조절한다.

실험 결과

연구 질문

• RQ1 복잡한 도메인 음향 환경에서 겹치는 소리와 비대상 소리가 존재하는 상황에서, 음향 분리를 사전 처리로 사용할 경우 SED 성능이 향상되는가?
• RQ2 일반적인 SS 모델을 SED 전용 데이터에 대해 미세조정하면 분리 품질과 이후 SED 성능에 어떤 영향을 미치는가?
• RQ3 혼합 오디오와 분리된 오디오 입력을 융합할 때, 초기, 중간, 후기 통합 전략 중 어느 것이 SED 성능을 가장 높이는가?
• RQ4 후기 통합에서 학습 가능한 융합 가중치(p 및 q)가 다양한 SS 모델에 따라 SED 성능에 어떤 영향을 미치는가?
• RQ5 SS 훈련 조건의 불일치(예: 합성 대 비합성)가 SED 시스템의 일반화 능력과 효과성에 영향을 미치는가?

주요 결과

• 가장 뛰어난 SED 성능는 건조한 FUSS 훈련된 SS 모델과 후기 통합을 조합하여 달성되었으며, REC_VAL 세트에서 F1 점수는 39.2%, PSDS는 0.574를 기록하였다.
• DESED+FUSS 데이터에 대해 SS 모델을 미세조정한 결과, 일치하는 데이터에서 더 나은 SS 점수를 기록했음에도 불구하고, 일반화 능력은 일반 FUSS 모델에 비해 열 劣했다.
• 최적의 가중치(p=2, q=2)를 사용한 후기 통합이 초기 및 중간 통합을 모두 초월했으며, 특히 FUSS 훈련된 SS 모델을 사용할 경우 두드러진 성능 향상을 보였다.
• 융합 가중치 q의 높은 값(혼합 오디오 또는 분리된 소스에만 기여)은 성능 저하를 초래했으며, 이는 균형 잡힌 융합이 핵심임을 시사한다.
• 소스 집합 가중치 p의 영향은 모델에 따라 달라졌다: 목표 이벤트와 소스가 일치할 경우(PIT 모델 등) 높은 p 값이 유리했지만, 분리가 불일치할 경우 그 효과가 떨어졌다.
• REC_VAL에서 낮은 SS 점수를 기록했음에도 불구하고, FUSS 훈련된 SS 모델은 실세계 데이터에 더 잘 일반화되어, 과제 특화 SS 모델보다 뛰어난 SED 성능을 보였다.