[논문 리뷰] Music Source Separation Using Stacked Hourglass Networks

Sungheon Park, Taehoon Kim외 2명|arXiv (Cornell University)|2018. 05. 22.

Speech and Audio Processing인용 수 12

한 줄 요약

이 논문은 음악 소스 분리에 적합한 스택드 아워글라스 네트워크를 제안하며, 스펙트로그램에서 다중 척도 특징 학습을 활용해 정교한 소스 마스크를 생성한다. 단순한 구조임에도 불구하고 MIR-1K 및 DSD100 데이터셋에서 경쟁적인 성능을 달성하였으며, 스택드 리파인먼트를 통해 최대 2.4 dB의 SDR 향상을 기록하여 보컬 및 악기 배경음 분리에서 이전 방법들을 능가한다.

ABSTRACT

In this paper, we propose a simple yet effective method for multiple music source separation using convolutional neural networks. Stacked hourglass network, which was originally designed for human pose estimation in natural images, is applied to a music source separation task. The network learns features from a spectrogram image across multiple scales and generates masks for each music source. The estimated mask is refined as it passes over stacked hourglass modules. The proposed framework is able to separate multiple music sources using a single network. Experimental results on MIR-1K and DSD100 datasets validate that the proposed method achieves competitive results comparable to the state-of-the-art methods in multiple music source separation and singing voice separation tasks.

연구 동기 및 목표

• 모든 음악 소스 분리에 적합한 단순하면서도 효과적인 딥 러닝 프레임워크를 컨volutional 네트워크를 활용해 개발하는 것.
• 원래 인간 자세 추정을 위해 설계된 스택드 아워글라스 아키텍처를 음악 스펙트로그램 처리에 적응시켜 소스 분리에 활용하는 것.
• 스택드 아워글라스 모듈 간의 다중 척도 특징 추출과 반복적 마스크 리파인먼트를 통해 분리 성능을 향상시키는 것.
• 단일 네트워크를 사용해 다중 소스 분리를 처리함으로써 모델 복잡도를 감소시키고 학습 및 추론 오버헤드를 최소화하는 것.
• 노래 보컬 분리 및 다중 악기 분리 작업 모두에서 성능을 평가하여 다양한 음원에 대한 강건성을 입증하는 것.

제안 방법

• 모노폰릭 오디오 혼합물의 스펙트로그램을 입력으로 사용하며, 이를 CNN 처리를 위한 2차원 단일 채널 이미지로 간주한다.
• 스택드 아워글라스 모듈은 스케일 아웃 연결을 통해 저해상도 특징 맵의 전반적 맥락과 고해상도 맵의 세밀한 세부 정보를 모두 캡처한다.
• 각 아워글라스 모듈은 전치 컨볼루션을 사용해 다운샘플링 후 업샘플링을 수행하며, 입력 스펙트로그램의 차원과 일치하는 3차원 출력 텐서를 생성한다.
• 각 모듈의 출력 채널 수는 목표 음악 소스의 수와 동일하여, 각 소스에 대한 엔드 투 엔드 마스크 예측이 가능하다.
• 여러 개의 아워글라스 모듈을 스택하여, 한 모듈의 출력이 다음 모듈의 입력으로 들어가면서 소스 마스크의 점진적 리파인먼트를 가능하게 한다.
• 학습 중 수렴 속도 향상과 특징 학습 향상을 위해 각 아워글라스 단계에 중간 지도 학습을 적용한다.

실험 결과

연구 질문

• RQ1 원래 인간 자세 추정을 위해 설계된 스택드 아워글라스 네트워크 아키텍처가 음악 소스 분리에 효과적으로 재사용될 수 있는가?
• RQ2 스택드 아워글라스 모듈 간의 다중 척도 특징 학습이 단일 단계 네트워크에 비해 소스 분리 성능을 얼마나 향상시키는가?
• RQ3 스택드 모듈을 통한 반복적 마스크 리파인먼트가 분리된 오디오 소스의 품질을 얼마나 향상시키는가?
• RQ4 MIR-1K 및 DSD100과 같은 표준 벤치마크에서 스택드 아워글라스 네트워크의 성능이 최신 기술 대비 어떻게 비교되는가?
• RQ5 베이스 기타 등 매우 유사한 소스를 분리할 경우, 이 방법의 한계는 무엇인가?

주요 결과

• 스택드 아워글라스 네트워크는 DSD100 데이터셋에서 보컬 분리에 대해 중앙값 SDR 5.45 dB, 악기 배경음 분리에 대해 12.14 dB를 기록하여, 최신 기술인 MM-DenseNet를 제외한 모든 베이스라인 방법을 능가했다.
• 다중 악기 분리(베이스, 드럼, 기타, 보컬)에 대해 각각 중앙값 SDR 1.77 dB, 4.11 dB, 2.36 dB, 5.16 dB를 기록하여 보컬과 드럼 분리에서 뛰어난 성능을 보였다.
• 스택 내 첫 번째에서 마지막 아워글라스 모듈로 갈수록 SDR가 약 2.4 dB 향상되어 반복적 리파인먼트의 효과를 입증했다.
• 최종 아워글라스 모듈에서 추정된 스펙트로그램은 저주파 대역(0–500 Hz)의 세부 정보를 더 정확히 캡처했고, 2000–3000 Hz 범위의 아티팩트를 이전 모듈보다 줄였다.
• 보컬과 배경음 사이의 스펙트럼적 구분이 뚜렷하여 노래 보컬 분리에서 뛰어난 성능을 보였지만, 베이스 및 기타 소스 간 음향적 유사성으로 인해 성능이 낮았다.
• 단일 통합 네트워크를 사용해 경쟁적인 성능을 달성했으며, 다중 네트워크나 다단계 접근 방식에 비해 계산 및 메모리 오버헤드를 감소시켰다.