[논문 리뷰] Audio Source Separation via Multi-Scale Learning with Dilated Dense U-Nets

Vivek Narayanaswamy, Sameeksha Katoch외 3명|arXiv (Cornell University)|2019. 04. 08.

Speech and Audio Processing참고 문헌 16인용 수 5

한 줄 요약

이 논문은 파형-유넷(Pulse-UNet)의 다중 척도 특징 추출 방식을 보다 적응적인 확장 컨볼루션과 조밀한 스케잎 연결로 대체한 Dilated Dense U-Net 아키텍처를 제안한다. 이 방법은 MUSDB18에서 최신 기준 성능을 달성하여, 시간적 모델링과 더 나은 기울기 흐름을 통해 파형-유넷 대비 SDR를 0.2–1.2 dB 향상시킨다.

ABSTRACT

Modern audio source separation techniques rely on optimizing sequence model architectures such as, 1D-CNNs, on mixture recordings to generalize well to unseen mixtures. Specifically, recent focus is on time-domain based architectures such as Wave-U-Net which exploit temporal context by extracting multi-scale features. However, the optimality of the feature extraction process in these architectures has not been well investigated. In this paper, we examine and recommend critical architectural changes that forge an optimal multi-scale feature extraction process. To this end, we replace regular $1-$D convolutions with adaptive dilated convolutions that have innate capability of capturing increased context by using large temporal receptive fields. We also investigate the impact of dense connections on the extraction process that encourage feature reuse and better gradient flow. The dense connections between the downsampling and upsampling paths of a U-Net architecture capture multi-resolution information leading to improved temporal modelling. We evaluate the proposed approaches on the MUSDB test dataset. In addition to providing an improved performance over the state-of-the-art, we also provide insights on the impact of different architectural choices on complex data-driven solutions for source separation.

연구 동기 및 목표

• 시간 도메인 오디오 원천 분리에서 리샘플링을 확장 컨볼루션으로 대체하여 다중 척도 특징 추출을 향상시키기.
• 깊은 유넷 아키텍처에서 조밀한 연결이 기울기 흐름과 특징 재사용에 미치는 영향을 조사하기.
• MUSDB18 데이터셋에서 아키텍처 선택 사항을 독립적으로 평가하여, 큰 입력 컨텍스트 같은 혼란 인자들을 제거하기.
• 적응형 확장과 조밀한 연결이 오디오 처리의 잘 정의되지 않은 역문제에서 성능을 향상시키는 데서의 상호 작용을 입증하기.

제안 방법

• 표준 1D 컨볼루션을 적응형 확장 컨볼루션으로 대체하여 추가 파rameter 없이 시간적 수용 영역을 증가시킨다.
• 계층을 거치며 점진적으로 확장률을 증가시키는 적응형 확장 전략을 도입하여 다중 해상도 시간적 맥락을 포착한다.
• 에코더 및 디코더 경로 간에 조밀한 연결을 도입하여 특징 재사용을 촉진하고 기울기 소실을 완화한다.
• 엔드 투 엔드 원천 분리에 적합한 유넷 기반 인코더-디코더 아키텍처를 사용하며, 스케잎 연결을 적용한다.
• 랜덤 진폭 스케일링을 통한 데이터 증강을 적용하고, 16,384개 샘플 세그먼트에서 Adam 옵timizer로 훈련한다.
• MUSDB18 테스트 세트에서 평균 및 중앙값 신호 대 간섭비(SDR)를 사용하여 성능을 평가한다.

실험 결과

연구 질문

• RQ1 리샘플링을 적응형 확장 컨볼루션으로 대체하면 시간 도메인 원천 분리에서 다중 척도 특징 추출이 향상되는가?
• RQ2 네트워크 깊이가 증가함에 따라 유넷 기반 원천 분리 모델에서 조밀한 연결이 성능에 어떤 영향을 미치는가?
• RQ3 적응형 확장과 조밀한 연결의 조합이 MUSDB18 데이터셋에서 파형-유넷 기준선을 능가할 수 있는가?
• RQ4 확장 전략과 스케잎 연결과 같은 아키텍처 선택 사항이 복잡한 오디오 역문제에서 SDR 성능에 얼마나 영향을 미치는가?

주요 결과

• 제안된 Dilated Dense U-Net은 MUSDB18 테스트 세트에서 보컬에 대해 평균 SDR -2.986 dB를 기록하여, 파형-유넷의 -3.292 dB를 초월한다.
• 드럼에 대해서는 평균 SDR 2.449 dB를 기록하여, 파형-유넷의 1.435 dB 대비 1.014 dB 향상되었다.
• 고정된 확장과 표준 1D 컨볼루션 대비 적응형 확장 전략이 유의미하게 뛰어나, 맥락 인식 수용 영역의 중요성을 입증한다.
• 네트워크 깊이가 증가할수록 조밀한 연결이 상당한 성능 향상을 이끌어내며, 특히 3개 블록을 가진 깊은 아키텍처에서 두드러진다.
• 적응형 확장과 조밀한 연결의 조합은 보컬, 드럼,베이스, 기타 등 모든 원천에서 일관된 SDR 향상을 이끌어낸다.
• 성능 향상은 원천 유형에 관계없이 0.2 dB에서 1.2 dB 범위에서 안정적으로 관찰되어, 데이터 기반 오디오 처리에서 아키텍처 설계의 핵심적 역할을 확인한다.