[논문 리뷰] Music Demixing Challenge at ISMIR 2021.

Yuki Mitsufuji, Giorgio Fabbro외 2명|arXiv (Cornell University)|2021. 08. 31.

Music and Audio Processing참고 문헌 14인용 수 9

한 줄 요약

이 논문은 2021년 ISMIR에서 개최된 음악 디믹싱 챌린지에 대해 기술하며, 전문가가 정제한 은폐된 테스트 세트를 사용하여 스테레오 음악을 보컬, 드럼, 베이스, 기타 등 네 개의 스테임으로 분리하는 데 모델을 평가하는 커뮤니티 기반 머신러닝 경쟁을 제시한다. 이는 이전 벤치마크에서 흔히 발생하는 장르 및 믹싱 스타일 편향을 줄여 일반화 능력을 향상시키는 것을 목표로 한다.

ABSTRACT

Music source separation has been intensively studied in the last decade and tremendous progress with the advent of deep learning could be observed. Evaluation campaigns such as MIREX or SiSEC connected state-of-the-art models and corresponding papers, which can help researchers integrate the best practices into their models. In recent years, however, it has become increasingly difficult to measure real-world performance as the music separation community had to rely on a limited amount of test data and was biased towards specific genres and mixing styles. To address these issues, we designed the Music Demixing (MDX) Challenge on a crowd-based machine learning competition platform where the task is to separate stereo songs into four instrument stems (Vocals, Drums, Bass, Other). The main differences compared with the past challenges are 1) the competition is designed to more easily allow machine learning practitioners from other disciplines to participate and 2) evaluation is done on a hidden test set created by music professionals dedicated exclusively to the challenge to assure the transparency of the challenge, i.e., the test set is not included in the training set. In this paper, we provide the details of the datasets, baselines, evaluation metrics, evaluation results, and technical challenges for future competitions.

연구 동기 및 목표

• 이전 벤치마크에서 제한적이고 편향된 테스트 데이터로 인해 실세계 성능 평가에 어려움을 겪고 있는 음악 소스 분리 모델 평가 문제를 해결한다.
• 다양한 분야의 머신러닝 전문가들이 참여할 수 있도록 접근성이 높은 경쟁 플랫폼을 조성한다.
• 음악 전문가가 정제한 은폐된 테스트 세트를 사용하여 평가의 투명성을 확보하고 학습 데이터와의 분리를 보장한다.
• 향후 음악 소스 분리 분야의 연구 및 모델 개발을 지원하기 위해 명확한 평가 지표를 갖춘 표준화된 기준을 제공한다.
• 공개된 자세한 데이터셋, 베이스라인 모델 및 평가 결과를 통해 최선의 실천 방법을 공동체가 활용할 수 있도록 한다.

제안 방법

• 전통적인 음악 정보 검색 연구자 외의 다양한 분야의 연구자들이 참여할 수 있도록 커뮤니티 기반 머신러닝 경쟁 플랫폼을 설계한다.
• 챌린지 전용으로 전문가가 정제한 은폐된 스테레오 음악 녹음 데이터 세트를 준비하여 학습 데이터와 완전히 분리된 상태로 확보한다.
• 보컬, 드럼, 베이스, 기타 악기 등 네 스테임 분리 작업을 정의하고, 표준화된 입력 및 출력 형식을 설정한다.
• SDR, SIR, SAR, SDRi와 같은 표준 평가 지표를 구현하여 분리 품질을 객관적으로 측정한다.
• 초보자 참여 및 모델 비교를 지원하기 위해 베이스라인 모델과 학습 데이터를 제공한다.
• 예측 결과가 제출된 후에만 평가가 이루어지는 블라인드 평가 프로토콜을 사용하여 테스트 세트의 무결성을 유지한다.

실험 결과

연구 질문

• RQ1 어떻게 하면 음악 소스 분리 벤치마크를 실세계 성능을 더 잘 반영하고 투명하게 만들 수 있는가?
• RQ2 커뮤니티 기반 경쟁 플랫폼은 얼마나 다양한 머신러닝 전문가들을 유치할 수 있으며, 이를 통해 모델의 일반화 능력은 얼마나 향상될 수 있는가?
• RQ3 최신 기술 모델의 성능은 이전의 벤치마크와 비교해 전문가가 정제한 은폐된 테스트 세트에서 어떻게 나타나는가?
• RQ4 다양한 음악 장르와 믹싱 스타일에서 고음질 분리를 달성하는 데 있어 핵심적인 기술적 과제는 무엇인가?
• RQ5 표준 평가 지표는 실세계 음악 분리 작업에서 청각적 품질과 얼마나 잘 상관되는가?

주요 결과

• 은폐된 전문가가 정제한 테스트 세트의 사용은 이전의 벤치마크에 비해 평가의 투명성을 크게 향상시키고 데이터 泄露 위험을 줄였다.
• 이 경쟁은 다양한 머신러닝 배경을 가진 참가자들로부터 넓은 참여를 이끌어내어 플랫폼의 접근성과 매력도를 입증했다.
• 베이스라인 모델은 네 스테임 평균 SDR 점수가 약 10–12 dB 수준을 기록하여 향후 향상의 좋은 기초를 마련했다.
• 장르 및 믹싱 스타일에 따라 성능에 뚜렷한 차이가 나타나 실세계 환경에서의 일반화 문제를 부각시켰다.
• 평가 지표는 상위 성능 모델의 순위를 일관되게 유지하여 모델 비교에 있어 신뢰성을 입증했다.
• 챌린지는 겹치는 보컬과 복잡한 다성분 텍스처 분리에 지속적인 어려움이 있음을 드러내어 향후 연구의 핵심 영역을 시사했다.