[논문 리뷰] Multi-Resolution Fully Convolutional Neural Networks for Monaural Audio Source Separation

Emad M. Grais, Hagen Wierstorf외 2명|arXiv (Cornell University)|2017. 10. 28.

Speech and Audio Processing참고 문헌 24인용 수 4

한 줄 요약

이 논문은 다중 해상도 완전 컨volution 신경망(MR-FCNN)을 제안하여 단일 귀 음성 분리 문제를 해결한다. 각 레이어에서 서로 다른 크기의 필터 세트를 동시에 사용하여 전반적인 시간-주파수 특징과 국소적인 특징을 추출한다. MR-FCNN는 표준 DNN 및 단일 해상도 FCNN보다 우수한 성능을 보이며, SDR와 SAR에서 통계적으로 유의미한 향상을 이룩했고, 모든 모델 비교에서 p-값 < 0.0025를 기록했다.

ABSTRACT

In deep neural networks with convolutional layers, each layer typically has fixed-size/single-resolution receptive field (RF). Convolutional layers with a large RF capture global information from the input features, while layers with small RF size capture local details with high resolution from the input features. In this work, we introduce novel deep multi-resolution fully convolutional neural networks (MR-FCNN), where each layer has different RF sizes to extract multi-resolution features that capture the global and local details information from its input features. The proposed MR-FCNN is applied to separate a target audio source from a mixture of many audio sources. Experimental results show that using MR-FCNN improves the performance compared to feedforward deep neural networks (DNNs) and single resolution deep fully convolutional neural networks (FCNNs) on the audio source separation problem.

연구 동기 및 목표

• 다중 겹침 소스를 포함한 단일 귀 혼합 신호에서 목표 음성 소스를 분리하는 데 도전 과제를 해결하기 위해.
• 다중 해상도 수용장(Receptive Field)을 통해 전반적인 맥락과 국소적 세부 정보를 동시에 캡처함으로써 음성 분리의 특징 추출을 향상시키기 위해.
• 모든 레이어에서 다중 해상도 컨volution 필터를 적용하는 새로운 딥 러닝 아키텍처를 개발하기 위해.
• 다중 해상도 특징 학습이 단일 해상도 또는 완전 연결 네트워크 대비 분리 성능을 향상시킨다는 것을 입증하기 위해.

제안 방법

• MR-FCNN는 각 레이어에서 서로 다른 수용장 크기(예: 3×3, 7×9, 13×21)를 가진 다중 필터 세트를 병렬로 적용하는 완전 컨볼루션 레이어를 사용한다.
• 각 필터 세트는 다른 해상도의 특징 맵을 생성하여, 네트워크가 세밀한 국소적 세부 사항과 더 넓은 스펙트럼-시간적 구조를 모두 캡처할 수 있도록 한다.
• ReLU 활성화 함수를 사용하고, 디코더에서 transpose 컨볼루션을 적용하며, 대칭적인 필터 크기 및 채널 수 설계를 따르는 인코더-디코더 아키텍처를 따른다.
• 혼합 및 목표 음성 신호의 크기 스펙트로그램을 사용하여, Adam 최적화를 통해 엔드 투 엔드로 모델을 훈련시키며, 조기 정지와 학습률 감소 전략을 적용한다.
• 성능 비교의 공정성을 확보하기 위해, MR-FCNN의 파라미터 수(558,181)는 FCNN(445,173) 및 DNN(4,206,600)과 유사하게 유지된다.
• 입력과 출력은 2차원 크기 스펙트로그램이며, 네트워크는 다중 해상도 특징 학습을 통해 혼합 신호로부터 목표 소스를 재구성하도록 학습된다.

실험 결과

연구 질문

• RQ1 각 레이어에서 다중 해상도 컨볼루션 필터를 적용할 경우, 단일 해상도 또는 완전 연결 네트워크 대비 음성 분리 성능 향상이 이루어지는가?
• RQ2 다양한 필터 크기를 통해 전반적인 특징과 국소적 특징을 동시에 추출함으로써, 단일 혼합 신호에서 목표 소스 분리 성능이 향상되는가?
• RQ3 어려운 음성 분리 작업에서 MR-FCNN의 SDR, SIR, SAR 지표는 DNN 및 단일 해상도 FCNN와 비교해 어떻게 나타나는가?
• RQ4 MR-FCNN의 성능 향상은 다수의 평가 지표에서 통계적으로 유의미한가?

주요 결과

• MR-FCNN는 DNN보다 SDR(p = 2×10⁻⁷)와 SAR(p = 9×10⁻⁷)에서 유의미한 향상을 보이며, 큰 효과 크기를 기록했다.
• MR-FCNN는 단일 해상도 FCNN보다 SDR(p = 0.0025)와 SAR(p = 3×10⁻⁵)에서 통계적으로 유의미한 성능 향상을 보였다.
• Bonferroni 보정 이후, 세 모델(DNN, FCNN, MR-FCNN) 간의 모든 성능 차이가 p < 0.05 이내에서 통계적으로 유의미했다.
• 혼합 신호의 SDR와 SIR가 낮아, 매우 도전적인 분리 작업임을 시사하며, 고급 특징 학습의 중요성을 부각시킨다.
• MR-FCNN는 DNN 및 FCNN보다 높은 SDR와 SAR를 기록하여, 목표 소스의 더 나은 재구성과 간섭 감소를 의미한다.
• 모델 아키텍처에서 각 레이어의 다양한 필터 크기(예: 13×21, 7×9, 3×3) 설계 덕분에 모든 레이어에서 효과적인 다중 해상도 특징 추출이 가능했다.