[논문 리뷰] CatNet: music source separation system with mix-audio augmentation

Xuchen Song, Qiuqiang Kong외 2명|arXiv (Cornell University)|2021. 02. 19.

Speech and Audio Processing참고 문헌 25인용 수 9

한 줄 요약

이 논문은 스펙트로그램 기반 UNet 브랜치와 타임도메인 WavUNet 브랜치를 연결하여 상호보완적인 표현을 활용하는 엔드 투 엔드, 완전히 미분 가능한 음악 소스 분리 시스템인 CatNet을 제안한다. 새로운 혼합 오디오 데이터 증강 기법을 도입하여 동일한 소스에서부터의 세그먼트를 조합함으로써, MUSDB18 데이터셋에서 보컬 분리 SDR 7.54 dB의 최신 기술 수준(SOTA) 성능을 달성하였으며, 기존의 MMDenseNet(6.57 dB)을 뛰어넘었다.

ABSTRACT

Music source separation (MSS) is the task of separating a music piece into individual sources, such as vocals and accompaniment. Recently, neural network based methods have been applied to address the MSS problem, and can be categorized into spectrogram and time-domain based methods. However, there is a lack of research of using complementary information of spectrogram and time-domain inputs for MSS. In this article, we propose a CatNet framework that concatenates a UNet separation branch using spectrogram as input and a WavUNet separation branch using time-domain waveform as input for MSS. We propose an end-to-end and fully differentiable system that incorporate spectrogram calculation into CatNet. In addition, we propose a novel mix-audio data augmentation method that randomly mix audio segments from the same source as augmented audio segments for training. Our proposed CatNet MSS system achieves a state-of-the-art vocals separation source distortion ratio (SDR) of 7.54 dB, outperforming MMDenseNet of 6.57 dB evaluated on the MUSDB18 dataset.

연구 동기 및 목표

• 기존 음악 소스 분리(MSS) 시스템이 스펙트로그램 또는 타임도메인 표현 방식에만 의존하는 한계를 해결하기 위해 두 모odalities를 융합하는 것.
• 스펙트로그램 계산을 네트워크 내부에 통합하여 공동 최적화가 가능한 완전한 엔드 투 엔드, 미분 가능한 프레임워크를 개발하는 것.
• 새로운 혼합 오디오 데이터 증강 전략을 도입하여 훈련 데이터가 제한된 상황에서도 일반화 능력과 성능을 향상시키는 것.
• MUSDB18 벤치마크 데이터셋에서 보컬 소스 분리 성능을 최신 기술 수준으로 달성하는 것.

제안 방법

• CatNet은 스펙트로그램을 처리하는 UNet 브랜치와 원시 웨이브폼을 처리하는 WavUNet 브랜치를 결합하며, 이들의 출력을 타임도메인에서 합산하여 분리된 소스를 생성한다.
• 스펙트로그램 계산(STFT 및 ISTFT)은 미분 가능하며, 네트워크 내부의 학습 가능한 행렬 곱셈으로 통합되어 엔드 투 엔드 훈련이 가능하다.
• 최적화를 위해 예측된 타임도메인 웨이브폼과 목표 타임도메인 웨이브폼 간의 평균 절대 오차(MAE) 손실을 사용한다.
• 새로운 혼합 오디오 데이터 증강 전략은 동일한 소스에서 오는 오디오 세그먼트를 무작위로 혼합하여 증강된 훈련 샘플을 생성한다.
• 이 방법은 동일한 소스 카테고리 내에서 세그먼트를 무작위로 혼합함으로써 소스 정체성을 유지하면서도 데이터 다양성을 증가시킨다.
• 네트워크는 배치 크기 12와 기본 학습률 0.001을 사용한 Adam 옵timizer로 훈련된다.

실험 결과

연구 질문

• RQ1 스펙트로그램 기반 및 타임도메인 기반 신경망을 융합하는 것이 단독으로 하나의 모odalities를 사용하는 것보다 음악 소스 분리 성능을 향상시킬 수 있는가?
• RQ2 엔드 투 엔드 훈련 프레임워크에 미분 가능한 STFT/ISTFT 연산을 통합하면 분리 품질이 향상되는가?
• RQ3 동일한 소스에서 오는 세그먼트를 혼합하는 새로운 혼합 오디오 데이터 증강 전략이 모델의 일반화 능력과 성능을 향상시킬 수 있는가?
• RQ4 제안된 CatNet 시스템이 혼합 오디오 증강을 적용했을 때 MUSDB18 벤치마크에서 최신 기술 수준의 방법들보다 성능 향상은 얼마나 이루어지는가?

주요 결과

• 혼합 오디오 데이터 증강을 적용한 CatNet은 MUSDB18 데이터셋에서 보컬 소스 분리 SDR 7.54 dB의 최신 기술 수준(SOTA) 성능을 달성하였으며, MMDenseNet(6.57 dB)을 뛰어넘었다.
• 스펙트로그램 기반 UNet 브랜치는 보컬 SDR 7.04 dB를 기록했고, 타임도메인 WavUNet 브랜치는 단지 5.57 dB를 기록하여 이 설정에서 스펙트로그램 기반 학습의 우수성을 입증했다.
• 혼합 오디오 데이터 증강은 WavUNet 베이스라인의 보컬 SDR를 5.57 dB에서 6.08 dB로 향상시켜, 이는 시간 도메인 모델에도 효과적임을 보여주었다.
• 같은 증강 전략을 적용한 CatNet은 보컬 SDR 7.17 dB를 기록하였고, 전체 CatNet 통합 시 7.54 dB에 도달하여 상호보완적 이점이 있음을 보여주었다.
• 기타 소스에 대해서도 뛰어난 성능을 기록하였으며, 드럼은 5.85 dB,베이스는 5.01 dB, 기타 악기들은 4.67 dB를 기록하였다.
• 악기 반주 소스 분리 SDR는 15.18 dB에 도달하여 비보컬 성분의 고품질 분리를 확인하였으며, 이는 음악 제작 응용 분야에서 매우 중요하다.