[논문 리뷰] Investigating Deep Neural Transformations for Spectrogram-based Musical Source Separation

Woosung Choi, Minseok Kim외 3명|arXiv (Cornell University)|2019. 12. 02.

Speech and Audio Processing참고 문헌 10인용 수 5

한 줄 요약

이 논문은 원시 복소수 STFT 특징을 사용하여 스펙트로그램 기반 음악 소스 분리에 대한 딥 네트워크 변환 기법을 조사하며, 시간 불변, 시간-주파수, 하이브리드 아키텍처를 원시 복소수 STFT 특징에 대해 평가한다. 이는 이전 방법보다 SDR에서 1.0 dB 향상된 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Musical Source Separation (MSS) is a signal processing task that tries to separate the mixed musical signal into each acoustic sound source, such as singing voice or drums. Recently many machine learning-based methods have been proposed for the MSS task, but there were no existing works that evaluate and directly compare various types of networks. In this paper, we aim to design a variety of neural transformation methods, including time-invariant methods, time-frequency methods, and mixtures of two different transformations. Our experiments provide abundant material for future works by comparing several transformation methods. We train our models on raw complex-valued STFT outputs and achieve state-of-the-art SDR performance on the MUSDB singing voice separation task by a large margin of 1.0 dB.

연구 동기 및 목표

• 스펙트로그램 기반 음악 소스 분리에 대한 다양한 신경망 변환 아키텍처를 체계적으로 평가하고 비교하는 것.
• 음악 소스 분리 맥락에서 딥 러닝 아키텍처 간 직접 비교가 부족한 문제를 해결하는 것.
• 향상된 분리 성능를 위해 시간 불변, 시간-주파수, 하이브리드 변환 방법을 탐색하는 것.
• 위상 및 스펙트럼 정보를 유지하기 위해 원시 복소수 STFT 출력에 직접 모델을 훈련하는 것.
• 다양한 실험적 비교를 제공하여 향후 연구를 위한 종합적인 벤치마크를 구축하는 것.

제안 방법

• 저자는 혼합 오디오 신호의 원시 복소수 STFT 표현에 직접 작용하는 딥 네트워크를 설계하고 훈련한다.
• 세 가지 주요 변환 유형을 평가한다: 시간 불변 네트워크, 시간-주파수 하이브리드 네트워크, 다양한 변환 유형의 혼합.
• 모델은 지도 학습 설정을 통해 진짜 소스 분리 스펙트로그램을 타겟으로 하여 엔드 투 엔드로 훈련된다.
• 복잡한 스펙트럼 패턴을 모델링하기 위해 시간 및 주파수 차원을 모두 아우르는 학습 가능한 변환을 아키텍처에 통합한다.
• 신호 대 간섭비(SDR) 최적화를 통해 소스 분리 품질을 향상시키는 훈련 목표를 설정한다.
• 모든 네트워크에서 복소수 텐서를 사용하여 위상 정보를 손실 없이 유지하며, 크기 값만 사용하는 표현 방식을 피한다.

실험 결과

연구 질문

• RQ1 스펙트로그램 기반 음악 소스 분리에서 시간 불변, 시간-주파수, 하이브리드 신경망 변환 방법의 성능는 어떻게 비교되는가?
• RQ2 원시 복소수 STFT 입력을 사용할 경우, 크기 값만 사용하거나 실수 값 표현을 사용할 경우에 비해 분리 품질에 어떤 영향을 미치는가?
• RQ3 다양한 변환 유형의 조합은 개별 아키텍처보다 성능 향상에 기여하는가?
• RQ4 이러한 아키텍처는 MUSDB 벤치마크에서 기존 최신 기술 수준의 방법을 얼마나 뛰어넘는가?
• RQ5 다양한 변환 구성 요소의 아블레이션 분석을 통해 모델의 일반화 능력과 내성에 대한 통찰은 무엇인가?

주요 결과

• 제안된 방법은 MUSDB 노래 음성 분리 벤치마크에서 최신 기술 수준의 신호 대 간섭비(SDR) 성능을 달성한다.
• 이전 최신 기술 수준의 방법보다 SDR를 1.0 dB 향상시켜 뚜렷한 성능 향상을 보였다.
• 원시 복소수 STFT 입력을 사용할 경우, 크기 값만 사용하거나 실수 값 표현을 사용하는 것보다 더 뛰어난 분리 품질을 달성한다.
• 시간 불변 및 시간-주파수 변환을 조합한 하이브리드 아키텍처가 단일 유형 아키텍처보다 성능이 뛰어나다.
• 아블레이션 연구를 통해 복소수 처리를 통한 위상 정보 유지가 최적 성능 달성에 핵심적임을 확인하였다.
• 포괄적인 실험적 비교를 통해 향후 스펙트로그램 기반 소스 분리 분야의 연구에 유용한 벤치마크를 제공하였다.