[논문 리뷰] Multi-scale Multi-band DenseNets for Audio Source Separation

Naoya Takahashi, Yuki Mitsufuji|arXiv (Cornell University)|2017. 06. 29.

Speech and Audio Processing참고 문헌 22인용 수 18

한 줄 요약

이 논문은 오디오 소스 분리에 대해 다중 척도 다중 대역 밀집 네트워크(MMDenseNet)를 제안하며, 밀집 네트워크를 다중 척도 밀집 블록과 대역별 학습으로 확장하여 장기적 맥락과 주파수 대역별 패턴을 모델링한다. 이 방법은 SiSEC 2016에서 최신 기준 성능(SOTA)을 달성하여 이전 최고 성능 결과보다 0.97 dB 향상되었으며, 파라미터 수는 3.6%에 불과하고 경쟁 모델들보다 훨씬 적은 학습 시간을 소비한다.

ABSTRACT

This paper deals with the problem of audio source separation. To handle the complex and ill-posed nature of the problems of audio source separation, the current state-of-the-art approaches employ deep neural networks to obtain instrumental spectra from a mixture. In this study, we propose a novel network architecture that extends the recently developed densely connected convolutional network (DenseNet), which has shown excellent results on image classification tasks. To deal with the specific problem of audio source separation, an up-sampling layer, block skip connection and band-dedicated dense blocks are incorporated on top of DenseNet. The proposed approach takes advantage of long contextual information and outperforms state-of-the-art results on SiSEC 2016 competition by a large margin in terms of signal-to-distortion ratio. Moreover, the proposed architecture requires significantly fewer parameters and considerably less training time compared with other methods.

연구 동기 및 목표

• 혼합 신호에서 소스 스펙트로그램을 추정하기 위해 깊은 신경망을 활용하여 오디오 소스 분리의 불안정한 성격을 다루기.
• RNN과 표준 CNN 등의 기존 아키텍처의 한계를 극복하기 위해 장기적 시간적 맥락과 세밀한 시간-주파수 구조를 효율적으로 캡처할 수 있는 모델을 설계하기.
• BLSTM 및 BLEND와 같은 최신 기준 방법들과 비교해 성능을 유지하거나 향상시키면서 모델 복잡도와 학습 시간을 줄이기.
• 각 주파수 대역의 고유한 스펙트럼 특성에 적응할 수 있도록 대역 전용 밀집 블록을 도입하여 특징 학습을 향상시키기.
• 스킵 연결과 업샘플링 레이어를 갖춘 다중 척도, 완전 컨볼루션 밀집 네트워크 아키텍처를 통해 효율적인 특징 재사용과 맥락 모델링을 가능하게 하기.

제안 방법

• 다중 척도 밀집 블록을 만들기 위해 다운샘플링 및 업샘플링 레이어를 밀집 네트워크에 통합하여 전반적인 맥락(저해상도)과 국소적 세부 사항(고해상도)을 모두 모델링할 수 있도록 한다.
• 다운샘플링 경로와 업샘플링 경로 사이에 스킵 연결을 통합하여 다양한 척도 간 정보를 유지하고 전파함으로써 특징 재사용을 향상시킨다.
• 특정 주파수 대역을 별도로 처리할 수 있도록 대역 전용 밀집 블록을 구현하여 커널이 저주파 대역의 톤성과 고주파 대역의 일시적 에너지와 같은 대역별 스펙트럼 특성에 집중할 수 있도록 한다.
• 전반적인 스펙트럼 패턴과 국소적 구조를 동시에 모델링하기 위해 전역 및 대역별 밀집 블록을 조합한다.
• 공간적 및 주파수 해상도를 유지하기 위해 전체적으로 완전 컨볼루션 레이어를 사용하여 완전 연결 레이어를 피하고 파라미터 수를 줄인다.
• 낮은 해상도 출력을 업샘플링하고 고해상도 특징과 연결함으로써 계층적 특징 학습이 가능한 다단계 아키텍처를 적용한다.

실험 결과

연구 질문

• RQ1 다중 척도 밀집 네트워크 아키텍처는 계산 효율성을 유지하면서도 오디오 소스 분리에서 장기적 시간적 맥락을 효과적으로 모델링할 수 있는가?
• RQ2 대역 전용 밀집 블록을 통합함으로써 다양한 주파수 대역의 고유한 통계적 성질에 더 잘 적응할 수 있는가?
• RQ3 최신 기준 RNN 기반 및 하이브리드 DNN 방법들과 비교해 제안된 아키텍처는 모델 크기와 학습 시간을 얼마나 줄일 수 있는가?
• RQ4 스킵 연결과 업샘플링 경로는 다중 척도 환경에서 특징 학습과 성능 향상에 어떻게 기여하는가?
• RQ5 제안된 아키텍처는 상당히 적은 파라미터를 사용하면서도 SiSEC 2016의 SOTA BLEND 시스템을 초월할 수 있는가?

주요 결과

• MMDenseNet은 SiSEC 2016 DSD100 데이터셋에서 평균 신호 대 간섭비(SDR) 4.94 dB를 기록하여 이전 SOTA인 BLEND 방법보다 0.97 dB 향상되었다.
• 추가로 MedleyDB에서의 피니팅을 거친 MMDenseNet+(MMDenseNet+)가 전반적으로 최고 성능을 기록했으며, 드럼을 제외한 모든 악기에서 SDR가 향상되었다.
• MMDenseNet은 파라미터 수가 0.31만 개(8.71만 개의 BLEND 대비 3.6%)에 불과하여 뚜렷한 모델의 경량화를 보였다.
• MMDenseNet+의 학습 시간은 BLEND의 471시간 대비 79시간으로 단축되어 하이퍼파ram터 튜닝과 적응이 훨씬 빠르게 가능했다.
• 스킵 경로와 업샘플링 경로의 l2-노름 분석을 통해 모든 척도의 밀집 블록이 특징 학습에 의미 있는 기여를 한다는 것이 확인되어 다중 척도 설계의 타당성이 입증되었다.
• 이 방법은 BLSTM 및 FNN 기준 모델을 모두 능가했으며, 파라미터 수와 학습 시간이 더 적은 상황에서도 성능을 유지하거나 초월했다.