[논문 리뷰] Denoising Auto-encoder with Recurrent Skip Connections and Residual Regression for Music Source Separation

Jen-Yu Liu, Yi‐Hsuan Yang|arXiv (Cornell University)|2018. 07. 05.

Speech and Audio Processing참고 문헌 6인용 수 8

한 줄 요약

이 논문은 1D 컨볼루션, 순환 스킵 연결, 잔차 회귀를 갖춘 디노이징 오토에인코드어인 ARC를 제안한다. 시간 축을 따라 1D 컨볼루션을 적용함으로써 중간 특징에 순환층을 적용할 수 있게 되어 시간 모델링이 향상된다. 잔차 회귀를 통해 MUSDB18 테스트 세트에서 보컬에 대해 5.74 SDR를 달성하여 기준 모델들을 능가한다.

ABSTRACT

Convolutional neural networks with skip connections have shown good performance in music source separation. In this work, we propose a denoising Auto-encoder with Recurrent skip Connections (ARC). We use 1D convolution along the temporal axis of the time-frequency feature map in all layers of the fully-convolutional network. The use of 1D convolution makes it possible to apply recurrent layers to the intermediate outputs of the convolution layers. In addition, we also propose an enhancement network and a residual regression method to further improve the separation result. The recurrent skip connections, the enhancement module, and the residual regression all improve the separation quality. The ARC model with residual regression achieves 5.74 siganl-to-distoration ratio (SDR) in vocals with MUSDB in SiSEC 2018. We also evaluate the ARC model alone on the older dataset DSD100 (used in SiSEC 2016) and it achieves 5.91 SDR in vocals.

연구 동기 및 목표

• 완전 컨볼루션 네트워크 내에서 시간 특징에 대한 순환 모델링을 활용하여 음악 소스 분리를 향상시키는 것.
• 특히 보컬에서 잔여 노이즈와 아티팩트를 줄이기 위해 전용 향상 모듈을 통해 소리 분리 품질을 향상시키는 것.
• 잔차 학습을 통해 추정치를 반복적으로 개선하는 잔차 회귀를 사용하여 분리 성능을 향상시키는 것.
• 일반화 능력과 경쟁력 있는 성능 평가를 위해 MUSDB18 및 DSD100 데이터셋 모두에서 모델을 평가하는 것.
• 최적의 성능를 위해 가중치 정규화, 순환층 배치, 스킵 연결 설계와 같은 아키텍처 선택 사항을 탐색하는 것.

제안 방법

• 핵심 모델인 ARC는 시간 축을 따라 1D 컨볼루션을 사용하여 순차적 구조를 유지하고, 특징 맵에 직접적으로 순환층을 적용할 수 있도록 한다.
• 순환 스킵 연결은 스킵 연결 특징에 게이트드 순환 단위(GRUs)를 적용하여 장거리 시간 의존성을 향상시킨다.
• 향상 모듈은 고정된 분리 모델 가중치를 갖는 디노이징 오토에인코드어로 훈련되어 추론 후 출력을 개선하여 소규모 아티팩트를 줄인다.
• 잔차 회귀는 분리 모델을 반복적으로 적용하는 방식으로, 각 출력은 이전 추정치와 모델이 예측한 잔차의 합이 된다.
• 소음 감소를 위해 배치 정규화 대신 가중치 정규화를 사용하여 주관적 음질을 향상시켰지만, 객관적 성능에는 약간의 손실이 수반된다.
• 모델은 로그-압력 스펙트로그램을 처리하며, 입력은 log(1 + 혼합 스펙트로그램)이고, 타겟은 log(1 + 소스 스펙트로그램)이다.

실험 결과

연구 질문

• RQ1 표준 스킵 연결 대비 스킵 연결 특징에 순환층을 적용함으로써 음악 소스 분리 성능 향상이 가능한가?
• RQ2 전용 향상 모듈을 통한 후처리가 분리된 보컬의 청각적 아티팩트를 줄이는가?
• RQ3 잔차 학습을 통해 추정치를 반복적으로 개선함으로써 잔차 회귀가 분리 품질 향상에 기여하는가?
• RQ4 시간 축을 따라 1D 컨볼루션을 사용함으로써 2D 컨볼루션 대비 순환 네트워크 통합이 더 잘 이루어지는가?
• RQ5 정규화 기법(가중치 정규화 대비 배치 정규화)이 객관적 SDR와 주관적 음질에 어떤 영향을 미치는가?

주요 결과

• 잔차 회귀를 적용한 ARC 모델은 MUSDB18 데이터셋에서 보컬에 대해 5.74 SDR를 달성하여, 앙상블 모델이 아닌 모델들 중 최고 성능을 보였다.
• DSD100 데이터셋에서는 ARC 모델이 단독으로 보컬에 대해 5.91 SDR를 기록하여, MMDenseNet 및 MMDenseLSTM 모델에 이어 두 번째로 높은 성능을 기록했다.
• 스킵 연결에 순환층을 적용한 경우가 가장 우수한 성능를 보였으며, 전치 컨볼루션 레이어나 인코더 경로에 배치한 경우보다 뛰어났다.
• 가중치 정규화는 배치 정규화보다 주관적으로 더 적은 노이즈를 가진 음성을 생성했지만, 대부분의 소스에서 배치 정규화가 약간 더 높은 객관적 SDR 점수를 기록했다.
• 향상 모듈과 잔차 회귀 모두 분리 성능 향상에 기여했으며, 특히 잔차 회귀는 보컬의 명료도 향상과 아티팩트 감소에서 두드러진 성과를 보였다.
• 스펙트로그램 비교 결과, 추정 출력은 조화 성분에서 진짜 값과 유사하지만, 더 흐리고 노이즈가 많아 향후 개선 여지가 있음을 시사했다.