Skip to main content
QUICK REVIEW

[논문 리뷰] Wave-U-Net: A Multi-Scale Neural Network for End-to-End Audio Source Separation

Daniel Stoller, Sebastian Ewert|arXiv (Cornell University)|2018. 06. 08.
Speech and Audio ProcessingComputer Science인용 수 75
한 줄 요약

이 논문은 Wave-U-Net를 제안한다. 이는 시계열 도메인에서의 엔드 투 엔드 오디오 소스 분리 모델로, 다중 스케일 U-Net 설계를 통해 긴 시계 맥락을 처리하고 경계 아티팩트 및 업샘플링 문제를 해결하며 스펙트로그램 기반 접근법에 비해 우수한 성능을 보인다.

ABSTRACT

Models for audio source separation usually operate on the magnitude spectrum, which ignores phase information and makes separation performance dependant on hyper-parameters for the spectral front-end. Therefore, we investigate end-to-end source separation in the time-domain, which allows modelling phase information and avoids fixed spectral transformations. Due to high sampling rates for audio, employing a long temporal input context on the sample level is difficult, but required for high quality separation results because of long-range temporal correlations. In this context, we propose the Wave-U-Net, an adaptation of the U-Net to the one-dimensional time domain, which repeatedly resamples feature maps to compute and combine features at different time scales. We introduce further architectural improvements, including an output layer that enforces source additivity, an upsampling technique and a context-aware prediction framework to reduce output artifacts. Experiments for singing voice separation indicate that our architecture yields a performance comparable to a state-of-the-art spectrogram-based U-Net architecture, given the same data. Finally, we reveal a problem with outliers in the currently used SDR evaluation metrics and suggest reporting rank-based statistics to alleviate this problem.

연구 동기 및 목표

  • 위상 정보를 도입하고 고정된 스펙트럴 프런트엔드를 피하기 위해 시간 도메인에서의 엔드-투-엔드 오디오 소스 분리를 동기로 삼는다.
  • 다운샘플링과 업샘플링을 통해 다중 스케일 특징을 사용하여 길고 긴 시간 의존성을 포착하는 1D Wave-U-Net을 개발한다.
  • 경계 artifacts를 줄이기 위해 적절한 입력 맥락, 비에일리어스된 업샘플링, 소스 가법성을 강제하는 차이 출력 계층 등 아키텍처를 개선한다.
  • 노래 음성 및 다중 악기 분리에서 모델을 평가하고 유사한 설정 하에서 스펙트로그램 기반 U-Net과 비교한다.
  • 평가 지표 문제(SDR의 이상치)에 대해 논의하고 랭크 기반 통계를 대안으로 제시한다.

제안 방법

  • 혼합 신호로부터 K개의 소스를 엔드-투-엔드 분리하기 위해 U-Net을 1D 시간 도메인으로 적응시킨다.
  • 반복적인 다운샘플링과 업샘플링을 사용하여 스킵 연결과 함께 다중 스케일 시간 특징을 융합한다.
  • 스트라이드된 전이 합성(convolution) 대신 선형 보간 후 일반 합성을 차례로 사용하여 업샘플링 아티팩트를 피한다.
  • S^K = M - sum_{j=1}^{K-1} S^j. 차이 출력 계층을 도입하여 혼합물에 대한 가법성 강제를 구현한다
  • 출력에 입력 맥락을 제공하고 맥락 인식 예측을 적용하여 경계 아티팩트를 피한다.
  • 선택적으로 입력 채널 다중화와 출력으로 다중 채널 텐서로 처리하여 스테레오 입력으로 확장한다.

실험 결과

연구 질문

  • RQ1엔드-투-엔드 시간 도메인 모델이 오디오 소스 분리를 위해 길고 먼 시간적 맥락을 효과적으로 활용할 수 있는가?
  • RQ2경계 아티팩트 및 업샘플링 아티팩트를 다루는 아키텍처 선택이 시간 도메인 네트워크의 분리 품질을 향상시키는가?
  • RQ3비교 가능한 학습 조건에서 Wave-U-Net이 모노와 스테레오 설정을 포함해 스펙트로그램 기반 U-Net에 비해 어떻게 성능을 나타내는가?

주요 결과

  • Wave-U-Net은 최첨단 스펙트로그램 기반 U-Net과 유사한 설정에서 노래 음성 및 다중 악기 작업에 대해 경쟁력 있는 분리 성능을 달성한다.
  • 추가 입력 맥락을 제공하면 출력 경계에서 특히 예측 품질이 향상된다.
  • 스테레오 모델링을 사용하면 반주에 향상을 주며 채널 특화 정보가 분리에 도움이 될 수 있음을 시사한다.
  • 업샘플링을 선형 보간으로 바꾸는 것이 고주파 아티팩트를 피하는 데 도움이 된다(전치 합성 대신).
  • 차이 출력 계층은 혼합물에 대한 가법성을 강제하여 네트워크의 자유도 중 하나를 감소시킨다.
  • 연구에서는 SDR 기반 평가의 이상치를 언급하고 강건한 대안으로 랭크 기반 통계의 보고를 제안한다.

이 논문 읽기

누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.

누빈트에서 이 논문 읽기

이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.