[논문 리뷰] The 2018 Signal Separation Evaluation Campaign

Fabian-Robert Stöter, Antoine Liutkus외 1명|arXiv (Cornell University)|2018. 04. 17.

Speech and Audio Processing인용 수 48

한 줄 요약

본 논문은 SiSEC 2018의 구성과 결과를 다루며, 음악 소스 분리를 위한 MUSDB18를 소개하고, 오픈 소스 도구를 출시하며, BSS Eval v4로 평가된 IBM, IRM, MWF 등 오라클 베이스라인을 제공합니다.

ABSTRACT

This paper reports the organization and results for the 2018 community-based Signal Separation Evaluation Campaign (SiSEC 2018). This year's edition was focused on audio and pursued the effort towards scaling up and making it easier to prototype audio separation software in an era of machine-learning based systems. For this purpose, we prepared a new music separation database: MUSDB18, featuring close to 10h of audio. Additionally, open-source software was released to automatically load, process and report performance on MUSDB18. Furthermore, a new official Python version for the BSSEval toolbox was released, along with reference implementations for three oracle separation methods: ideal binary mask, ideal ratio mask, and multichannel Wiener filter. We finally report the results obtained by the participants.

연구 동기 및 목표

• 커뮤니티 주도 캠페인을 통해 오디오 소스 분리 평가의 표준화를 향상시키고자 한다.
• 분리 시스템을 프로토타이핑하기 위한 확장 가능하고 데이터 기반의 워크플로우와 오픈 소스 도구를 제공한다.
• 학습/테스트를 위한 약 10시간 규모의 음악 및 스텀스가 포함된 MUSDB18을 공개한다.
• 상한 성능 평가를 위해 BSS Eval v4와 참조 오라클 방법(IBM, IRM, MWF)을 공개한다.
• 전통적인 모델 기반 방법과 현대의 데이터 기반 접근 방식 간의 공정한 비교를 촉진한다.

제안 방법

• IBM(이진 마스크), IRM(알파 파워가 있는 소프트 마스크), MWF(다채널 위너 필터)라는 세 가지 오라클 필터링 전략을 정의하고 구현한다.
• 학습 및 테스트 세트로 분할된 악기별로 베이스, 드럼, 보컬 및 기타를 포함한 약 10시간 규모의 스테레오 음악으로 구성된 MUSDB18 데이터를 공개한다.
• 계산 속도를 높이기 위해 시간 불변 왜곡 필터 매칭을 지원하는 BSS Eval v4를 개발하고 배포한다.
• 재현 가능한 벤치마킹을 위해 오라클 방법의 오픈 소스 파이썬 구현을 제공한다.
• 소스 및 지표 전반에서 오라클 성능을 분석하여 상한을 설정하고 시스템 개발을 안내한다.

실험 결과

연구 질문

• RQ1 IBM, IRM, MWF가 MUSDB18에서 단일 채널 및 다중 채널 오디오 분리에 어떤 상한을 제공할 수 있는가?
• RQ2 시간 불변 왜곡 필터가 시간 가변 필터에 비해 BSS Eval 점수에 어떤 영향을 미치는가?
• RQ3 추가 데이터 유무에 관계없이 데이터 기반 방법이 MUSDB18에서 오라클 베이스라인 대비 어떻게 수행하는가?
• RQ4 음악 소스 분리에서 학습 데이터의 양과 아키텍처의 중요성에 대해 어떤 시사점이 도출되는가?
• RQ5 SiSEC 2018 설정이 모델 기반과 데이터 기반 접근 방식 간의 공정한 비교를 어떻게 가능하게 하는가?

주요 결과

• 대부분의 지표에서 ISR를 제외하고 소프트 마스크에 비해 IBM은 성능이 저조하며, 이는 음악적 노이즈와 제로화 효과 때문입니다.
• IRM2와 MWF가 일반적으로 세 가지 오라클 계열 중 전체적으로 최고 성능을 내고, SAR에서는 때때로 IRM1이 선호된다.
• BSS Eval v4 계산은 v3보다 약 8배 빠르며, 시간 불변 왜곡 필터를 사용하면 안정성과 비용 증가 없이 유사한 결론을 제공합니다.
• 데이터 기반 방법이 대상과 지표 전반에서 모델 기반 접근 방식보다 큰 폭으로 성능을 능가합니다.
• 추가 학습 데이터를 가진 데이터 기반 방법들(예: UHL3, TA*)이 가장 우수하게 수행되며 반주에 대해서는 오라클에 근접하거나 일치할 수 있지만, 보컬은 여전히 더 어려운 편이다.
• 결과는 공정한 평가를 위한 MUSDB18과 같은 표준화된 데이터세트의 중요성을 강조하고, 아키텍처 차이가 학습 데이터 양보다 덜 영향적임을 시사한다.