[논문 리뷰] MMDenseLSTM: An efficient combination of convolutional and recurrent neural networks for audio source separation

Naoya Takahashi, Nabarun Goswami외 1명|arXiv (Cornell University)|2018. 05. 07.

Speech and Audio Processing인용 수 6

한 줄 요약

이 논문은 다중 스케일, 다중 밴드 장기 단기 기억(LSTM) 네트워크를 DenseNet과 통합하여 음원 분離 성능을 향상시키는 새로운 아키텍처인 MMDenseLSTM을 제안한다. 업샘플링 경로의 저스케일에 전략적으로 LSTM 레이어를 삽입하고 스케일 연결을 활용함으로써, DSD100과 MUSDB18에서 최신 기술(SOTA) 성능을 달성하였으며, MMDenseNet 및 블렌디드 LSTM-CNN 모델을 능가하면서도 파rameter 수를 24배 줄였고, 보컬 및 배경음악 분리에서 이상 이진 마스크를 초월하는 성능을 보였다.

ABSTRACT

Deep neural networks have become an indispensable technique for audio source separation (ASS). It was recently reported that a variant of CNN architecture called MMDenseNet was successfully employed to solve the ASS problem of estimating source amplitudes, and state-of-the-art results were obtained for DSD100 dataset. To further enhance MMDenseNet, here we propose a novel architecture that integrates long short-term memory (LSTM) in multiple scales with skip connections to efficiently model long-term structures within an audio context. The experimental results show that the proposed method outperforms MMDenseNet, LSTM and a blend of the two networks. The number of parameters and processing time of the proposed model are significantly less than those for simple blending. Furthermore, the proposed method yields better results than those obtained using ideal binary masks for a singing voice separation task.

연구 동기 및 목표

• 합성곱 신경망과 순환 신경망의 장점을 융합하여 음원 분리(AS) 성능을 향상시키기 위해.
• 표준 CNN과 RNN이 장기 음성 의존성을 효율적으로 모델링하는 데에 한계가 있음을 해결하고, 파rameter 사용 효율성을 높이기 위해.
• 다중 스케일 및 다중 밴드 특징 학습을 활용하여 모델링의 유연성과 성능을 향상시키는 하이브리드 아키텍처를 설계하기 위해.
• 단순한 LSTM과 CNN 아키텍처의 블렌딩 방식에 비해 모델 복잡도와 학습 시간을 줄이기 위해.
• 기준 데이터셋(DSD100 및 MUSDB18)에서 최신 기술 성능을 달성하면서도 계산 효율성을 유지하기 위해.

제안 방법

• 이 방법은 다중 스케일, 다중 밴드 DenseNet과 업샘플링 경로의 여러 스케일에 삽입된 LSTM을 결합한 하이브리드 아키텍처인 MMDenseLSTM을 도입한다.
• 동일한 스케일에서 밀집 블록과 LSTM 레이어 사이에 스케일 연결을 사용하여 기울기 흐름과 특징 재사용을 향상시킨다.
• 각 주파수 밴드가 전용 CNN에 의해 처리되는 다중 밴드 설계를 사용하여 전체 밴드 커널 대비 모델링의 민첩성을 향상시킨다.
• 업샘플링 경로의 저스케일(예: 스케일 3)에 LSTM 레이어를 삽입하여 국소적 특징을 활용해 글로벌 조절을 효율적으로 모델링한다.
• 1D 컨볼루션, 배치 정규화, ReLU, 그리고 밀집 연결을 조합하여 효율적인 특징 학습과 기울기 흐름을 가능하게 한다.
• 제거 분석을 통해 다양한 LSTM 삽입 전략과 구성(Sa, Sb, P 유형)을 비교하여 최적의 아키텍처를 규명한다.

실험 결과

연구 질문

• RQ1 다중 밴드 DenseNet 아키텍처에 다중 스케일에서 LSTM을 통합하면 음원 분리 성능 향상에 기여하는가?
• RQ2 업샘플링 경로의 저스케일에 LSTM을 삽입하는 것이 고스케일이나 다운샘플링 경로에 삽입하는 것보다 더 높은 성능을 내는가?
• RQ3 제안된 MMDenseLSTM 아키텍처가 MMDenseNet 및 단순한 LSTM과 MMDenseNet의 블렌딩 모델보다 SDR 및 파rameter 효율성 측면에서 뛰어나게 성능을 내는가?
• RQ4 더 큰 데이터셋에서 학습된 하이브리드 모델이 이상 이진 마스크(IBM) 기준선을 뛰어넘는가?
• RQ5 다중 스케일, 다중 밴드 환경에서 밀집 블록과 LSTM 레이어를 조합하는 데 최적의 구성(Sa, Sb, P 등)은 무엇인가?

주요 결과

• DSD100 데이터셋에서 MMDenseLSTM은 평균 SDR 12.73 dB를 기록하여 MMDenseNet(12.10 dB)과 BLEND(11.70 dB)를 각각 0.63 dB와 1.03 dB 초월한다.
• MUSDB18 데이터셋에서 MMDenseLSTM은 평균 SDR 16.40 dB를 달성하여 MMDenseNet(15.41 dB)을 0.99 dB, BLEND2(16.04 dB)를 0.36 dB 뛰어넘는다.
• 배경음악 소스 분리에서 이상 이진 마스크(IBM)를 초월하여, IBM 기준 10.83 dB 대비 MMDenseLSTM 기준 16.40 dB의 성능을 기록한다.
• 단지 122만 개의 파arameter를 사용함에도 불구하고, BLSTM과 MMDenseNet의 단순 블렌딩 모델(3036만 개 파arameter)보다 뛰어난 성능을 내어 24배의 파arameter 효율성을 입증한다.
• 스케일 3에서 밀집 블록 이후에 LSTM을 삽입하는 Sa 구성이 가장 뛰어난 성능을 내어 스케일 배치의 중요성을 확인한다.
• LSTM 특징맵의 $l^2$ 노름은 밀집 특징맵 중 최고 노름과 유사하여, LSTM이 유의미하고 중복되지 않는 표현을 학습하고 있음을 시사한다.