[논문 리뷰] Investigating U-Nets with various Intermediate Blocks for Spectrogram-based Singing Voice Separation

Woosung Choi, Minseok Kim외 3명|arXiv (Cornell University)|2019. 12. 02.

Speech and Audio Processing참고 문헌 24인용 수 25

한 줄 요약

이 논문은 스펙트로그램 기반 노래 음성 분離를 위한 U-Net 아키텍처 내 다양한 중간 블록을 조사하며, 실수부와 허수부를 별도의 채널로 간주하는 복소수 스펙트로그램 추정 프레임워크(CaC)를 제안한다. 시간-주파수 컨볼루션 블록(TFC-TDF)에 완전히 연결된 히든 레이어를 통합함으로써, MUSDB 데이터셋에서 최신 기술(SOTA) 수준의 SDR 성능을 달성하였으며, 이는 이전 SOTA 방법보다 0.9 dB 향상되었고, 파rameter 수는 줄였고, 후처리를 사용하지 않았다.

ABSTRACT

Singing Voice Separation (SVS) tries to separate singing voice from a given mixed musical signal. Recently, many U-Net-based models have been proposed for the SVS task, but there were no existing works that evaluate and compare various types of intermediate blocks that can be used in the U-Net architecture. In this paper, we introduce a variety of intermediate spectrogram transformation blocks. We implement U-nets based on these blocks and train them on complex-valued spectrograms to consider both magnitude and phase. These networks are then compared on the SDR metric. When using a particular block composed of convolutional and fully-connected layers, it achieves state-of-the-art SDR on the MUSDB singing voice separation task by a large margin of 0.9 dB. Our code and models are available online.

연구 동기 및 목표

• 스피킹 음성 분리에 적합한 U-Net 아키텍처 내 다양한 중간 블록 설계를 체계적으로 평가하고 비교하는 것.
• 시간 분포형 완전히 연결된 히든 레이어를 컨볼루션 블록에 통합할 경우 분리 성능에 미치는 영향을 조사하는 것.
• 매그니튜드 값만 사용하는 표현 방식 대신 실수부와 허수부를 별도의 채널로 간주하는 복소수 스펙트로그램을 사용할 경우의 이점 탐색.
• 음악 소스 분리 분야에서 효과적인 U-Net 기반 모델을 구축하기 위한 실용적인 설계 지침 수립.
• 후처리 또는 순환층을 사용하지 않고 MUSDB 벤치마크에서 최신 기술(SOTA) 성능을 달성하는 것.

제안 방법

• 복소수로 표현된 스펙트로그램을 실수값 텐서로 간주하며, 실수부와 허수부를 별도의 채널로 처리하는 복소수를 채널로 간주하는(CaC) 프레임워크를 도입하여, 복소수 출력을 엔드 투 엔드로 학습할 수 있도록 한다.
• 표준 2D-CNN, 시간 분포형 컨볼루션(TDC), 주파수 분포형 컨볼루션(TDF), 완전히 연결된 히든 레이어를 포함한 하이브리드 TFC-TDF 블록을 포함한 다양한 중간 블록을 사용한 U-Net 아키텍처를 구현한다.
• 예측된 복소수 스펙트로그램과 진짜 값 간의 평균 제곱오차를 최소화하는 방식으로 지도 학습을 수행한다.
• 프레임워크는 복소수 스펙트로그램을 직접 추정하여 위상 정보를 유지하며, 이는 매그니튜드 값만 사용하는 모델에서 흔히 손실되는 위상 정보를 보존한다.
• 매그니튜드 값만 입력으로 사용하는 모델와 복소수 스펙트로그램을 그대로 입력으로 사용하는 모델 간의 성능 비교를 통해 위상 정보 활용의 이점을 평가하기 위한 추론 실험을 수행한다.
• 최종 모델는 복합 블록 구조를 가진 TFC-TDF 블록과 완전히 연결된 히든 레이어를 포함하여, 파rameter 수를 줄였음에도 높은 성능을 달성한다.

실험 결과

연구 질문

• RQ1 시간 분포형 컨볼루션(TDC), 주파수 분포형 컨볼루션(TDF), TFC-TDF 등 다양한 중간 블록 설계가 U-Net 기반 모델의 노래 음성 분리 성능에 미치는 영향은 어떠한가?
• RQ2 중간 블록에 완전히 연결된 히든 레이어를 삽입할 경우 SDR 성능에 어떤 영향을 미치는가?
• RQ3 매그니튜드 값만 사용하는 표현 방식 대비 복소수 스펙트로그램을 사용할 경우 성능 향상은 어느 정도 이루어지는가?
• RQ4 순환층이나 후처리 기법(예: 위erner 필터링) 없이도 U-Net 모델이 최신 기술(SOTA) 성능을 달성할 수 있는가?
• RQ5 블록 유형 간의 비교를 통해 파rameter 효율성과 성능 측면에서 도출되는 설계 원칙은 무엇인가?

주요 결과

• 시간-주파수 분포형 컨볼루션(TFC-TDF) 블록은 완전히 연결된 히든 레이어를 포함하여 MUSDB 테스트 세트에서 최고의 SDR 7.98 dB 성능을 기록하였다.
• 제안된 모델는 이전 SOTA인 DGRU-DGConv보다 SDR에서 0.9 dB 높은 성능을 보였으며, 파rameter 수는 2.24M으로 줄였고, 순환층도 사용하지 않았다.
• n_fft = 4096일 때 복소수 스펙트로그램을 사용하는 것(CaC 프레임워크)이 매그니튜드 값만 사용하는 것보다 SDR 성능을 0.74 dB 향상시켰다. 이는 동일한 아키텍처와 파rameter 조건에서도 성립한다.
• 매그니튜드 값만 사용하는 U-Net 모델을 CaC U-Net으로 단순 확장하기만 해도 동일한 모델 구성에서 SDR 성능이 0.64 dB 향상되었으며, 이는 위상 정보의 유용성을 입증한다.
• 브로드링크 구조를 가진 TFC-TDF 블록은 뿌리 파라미터 수가 0.99M에 불과함에도 불구하고 높은 성능을 달성하여, 정확도를 희생시키지 않고도 파라미터 효율성을 확보할 수 있음을 보여준다.
• 후처리 기법(예: Wiener 필터링) 없이 CaC 프레임워크를 사용한 모델가 매그니튜드 값만 사용하는 모델보다 성능이 뛰어나, 엔드 투 엔드 복소수 스펙트로그램 학습의 효과성을 입증한다.