[논문 리뷰] Multitask learning for instrument activation aware music source separation

Yun-Ning Hung, Alexander Lerch|arXiv (Cornell University)|2020. 08. 02.

Music and Audio Processing인용 수 8

한 줄 요약

이 논문은 다중 작업 딥 러닝 모델을 제안하며, 이는 동시에 악기 활성화 검출(IAD)과 음악 소스 분리 작업을 수행한다. 추론 중에 예측된 악기 활성도를 동적 스펙트럼 가중치로 사용하여 분리 품질을 향상시킨다. 이 모델은 여섯 개의 악기를 포함하는 메들리DB와 믹싱 시크릿스 데이터셋의 조합된 데이터셋에서 오픈언믹스보다 우수한 성능을 보이며, IAD를 통합함으로써 잘못된 마스크 예측를 수정함으로써 소스 분리 성능이 향상됨을 입증한다.

ABSTRACT

Music source separation is a core task in music information retrieval which has seen a dramatic improvement in the past years. Nevertheless, most of the existing systems focus exclusively on the problem of source separation itself and ignore the utilization of other~---possibly related---~MIR tasks which could lead to additional quality gains. In this work, we propose a novel multitask structure to investigate using instrument activation information to improve source separation performance. Furthermore, we investigate our system on six independent instruments, a more realistic scenario than the three instruments included in the widely-used MUSDB dataset, by leveraging a combination of the MedleyDB and Mixing Secrets datasets. The results show that our proposed multitask model outperforms the baseline Open-Unmix model on the mixture of Mixing Secrets and MedleyDB dataset while maintaining comparable performance on the MUSDB dataset.

연구 동기 및 목표

• 악기 활성도 검출(IAD)이 다중 작업 학습을 통해 소스 분리 성능을 향상시킬 수 있는지 조사하기 위해.
• 기존의 네 개의 악기 설정(MUSDB 등)을 초월하여 더 큰 오픈 데이터셋을 활용해 최대 여섯 개의 악기를 포함한 소스 분리 기술을 확장하기 위해.
• 추론 중에 IAD 예측 결과를 동적 가중치로 통합하여 소스 분리 마스크를 정밀하게 보정하기 위해.
• 다양성과 현실성을 높이기 위해 메들리DB와 믹싱 시크릿스 데이터셋을 조합한 데이터셋을 기반으로 모델을 평가하기 위해.
• 세 개의 독립된 악기로 제한된 MUSDB 벤치마크를 넘어 최대 여섯 개의 악기를 분리할 수 있는 첫 번째 오픈소스 모델을 제공하기 위해.

제안 방법

• 소스 분리 및 악기 활성도 검출을 위한 공통 인코더-디코더 아키텍처를 사용하며, 하층부는 공유하고 작업 전용 헤드는 개별적으로 설계한다.
• 스펙트로그램 복원을 위한 평균 제곱오차(MSE)와 악기 활성도 예측를 위한 이진 교차엔트로피(BCE)를 조합한 다중 작업 손실을 사용하여 엔드 투 엔드로 학습한다.
• 추론 중에 예측된 악기 활성도 점수를 프레임 단위의 가중치로 사용하여, 목표 악기가 존재하지 않는 영역의 추정 마스크를 억제한다.
• 예측된 악기 활성도 레이블에 중앙값 필터를 적용하여 잡음과 유사한 거짓 양성/음성 예측를 감소시킨다.
• 모델은 MM 데이터셋(MedleyDB + Mixing Secrets)을 활용하여 학습 데이터의 다양성을 높이고 여섯 개의 악기 분리를 지원한다.
• 표준 평가 지표인 SDR, SIR, SAR를 사용하여 성능을 평가하며, 악기 가중치 유무를 비교하는 분석 실험을 실시한다.

실험 결과

연구 질문

• RQ1 악기 활성도 검출과 음악 소스 분리를 함께 학습함으로써 소스 분리 성능을 향상시킬 수 있는가?
• RQ2 추론 중에 예측된 악기 활성도를 스펙트럼 가중치로 사용할 경우 분리 품질에 어떤 영향을 미치는가?
• RQ3 IAD를 포함한 다중 작업 학습이 네 개 이상의 악기를 포함한 데이터셋에서 더 나은 일반화 성능을 낼 수 있는가?
• RQ4 예측된 악기 활성도에 대한 후처리(예: 중앙값 필터링)가 최종 분리 성능에 어떤 영향을 미치는가?
• RQ5 더 큰 다양성과 여섯 개의 악기를 포함한 데이터셋에서 오픈언믹스 대비 모델의 성능은 어떠한가?

주요 결과

• 악기 활성도 가중치를 적용한 다중 작업 모델은 조합된 메들리DB 및 믹싱 시크릿스 데이터셋에서 기준 오픈언믹스보다 평균 SDR, SIR, SAR가 높게 기록하였다.
• 예측된 악기 활성도를 가중치로 사용함으로써 잘못된 마스크 예측를 수정함으로써 분리 품질이 향상되었으며, 특히 간섭을 줄이는 데 기여하여 SIR 향상 폭이 가장 컸다.
• 예측된 악기 활성도에 중앙값 필터를 적용하면 모든 악기에서 일관된 성능 향상이 나타나, 노이즈가 많은 예측에 대한 강건성을 입증하였다.
• 참값 악기 레이블을 가중치로 사용할 경우 최고의 성능를 기록하였으며, 이는 제안된 가중치 메커니즘의 잠재력을 확인하는 상한선 역할을 하였다.
• 표준 MUSDB 데이터셋에서는 성능이 유사하게 유지하면서도 MM 데이터셋에서는 오픈언믹스를 초월하는 성능를 기록함으로써, 다양한 데이터셋에 대한 일반화 능력을 입증하였다.
• 다중 작업 손실을 사용해 학습함으로써 약간의 소스 분리 품질 저하가 있었지만, 최종 추론 시 가중치 적용 메커니즘이 네트워크 성능 향상으로 이어져 다중 작업 설계의 타당성을 입증하였다.