[논문 리뷰] Monaural Speech Enhancement Using a Multi-Branch Temporal Convolutional Network

Qiquan Zhang, Aaron Nicolson외 3명|arXiv (Cornell University)|2019. 12. 27.

Speech and Audio Processing인용 수 6

한 줄 요약

이 논문은 다중 분지 시간 컨volution 네트워크(MB-TCN)를 제안하여 단일 귀 음성 향상 문제를 해결한다. 이는 인과적 확장 컨볼루션과 잔차 학습을 활용한 분할-변환-집합 아키텍처를 통해 장기적인 시간적 의존성을 효율적으로 포착한다. MB-TCN는 ResLSTM, TCN 및 GAN 기반 모델과 같은 최신 기술들을 초월하여 다섯 가지 목적적 지표에서 뛰어난 성능을 보이며, 동시에 높은 파rameter 효율성을 유지한다.

ABSTRACT

Deep learning has achieved substantial improvement on single-channel speech enhancement tasks. However, the performance of multi-layer perceptions (MLPs)-based methods is limited by the ability to capture the long-term effective history information. The recurrent neural networks (RNNs), e.g., long short-term memory (LSTM) model, are able to capture the long-term temporal dependencies, but come with the issues of the high latency and the complexity of training.To address these issues, the temporal convolutional network (TCN) was proposed to replace the RNNs in various sequence modeling tasks. In this paper we propose a novel TCN model that employs multi-branch structure, called multi-branch TCN (MB-TCN), for monaural speech enhancement.The MB-TCN exploits split-transform-aggregate design, which is expected to obtain strong representational power at a low computational complexity.Inspired by the TCN, the MB-TCN model incorporates one dimensional causal dilated CNN and residual learning to expand receptive fields for capturing long-term temporal contextual information.Our extensive experimental investigation suggests that the MB-TCNs outperform the residual long short-term memory networks (ResLSTMs), temporal convolutional networks (TCNs), and the CNN networks that employ dense aggregations in terms of speech intelligibility and quality, while providing superior parameter efficiency. Furthermore, our experimental results demonstrate that our proposed MB-TCN model is able to outperform multiple state-of-the-art deep learning-based speech enhancement methods in terms of five widely used objective metrics.

연구 동기 및 목표

• 단일 귀 음성 향상에서 장기적인 음성 의존성을 포착하는 데에 MLP 및 RNN의 한계를 해결하기 위해.
• 시퀀스 모델링 작업에서 LSTMs와 같은 RNN의 높은 지연 시간과 학습 복잡도 문제를 해결하기 위해.
• 낮은 계산 복잡도와 파rameter 효율성을 유지하면서도 음성 품질과 이해 가능성을 향상시키기 위해.
• 최소한의 아키텍처 오버헤드로 장거리 시간적 맥락을 효과적으로 포착할 수 있는 딥 러닝 모델을 개발하기 위해.
• 기존 최고 성능 모델들에 비해 목적적 지표와 모델 효율성 측면에서 뛰어난 성능을 달성하기 위해.

제안 방법

• MB-TCN는 저비용의 계산으로 표현 능력을 향상시키기 위해 분할-변환-집합 아키텍처를 활용한다.
• 1D 인과적 확장 컨볼루션을 사용하여 수신 영역을 확장하고 장기적인 시간적 의존성을 모델링한다.
• 학습 안정성과 더 깊은 네트워크 아키텍처를 가능하게 하기 위해 잔차 연결을 통합한다.
• 다중 분지 설계를 통해 다양한 확장 커널 스케일의 병렬 처리가 가능해져 특징 표현 능력이 향상된다.
• 딥 싸이클 프레임워크에 통합되어, 통계적 향상 방법(예: SRWF)에 사용할 수 있는 사전 SNR를 추정한다.
• 파rameter 효율성 최적화를 위해 하이퍼파ram터 조정이 가능하여 성능와 모델 크기 사이의 균형을 조절할 수 있다.

Figure 1 : An example of 1-D dilated causal convolution with the kernel size $k=3$ and the dilation rate $d=1,2,4$ . This forms a large receptive field over the input.

실험 결과

연구 질문

• RQ1 다중 분지 TCN 아키텍처가 단일 TCN 및 ResLSTM 모델보다 단일 귀 음성 향상에서 뛰어난 성능을 내는가?
• RQ2 확장 컨볼루션과 잔차 학습을 통한 분할-변환-집합 설계가 RNN이나 표준 CNN보다 더 나은 장기 맥락 모델링을 가능하게 하는가?
• RQ3 MB-TCN가 기존 최고 성능 모델들에 비해 목적적 음성 품질 및 이해 가능성 지표에서 얼마나 향상되었는가?
• RQ4 GAN 기반 모델 및 밀도 연결 모델과 비교했을 때 MB-TCN의 파rameter 효율성과 계산 비용은 어떠한가?
• RQ5 기존 최고 성능 모델들보다 더 적은 파라미터로도 MB-TCN가 뛰어난 성능을 달성할 수 있는가?

주요 결과

• MB-TCN는 DFL 대비 CSIG, CBAK, COVL 지표에서 각각 0.35, 0.08, 0.37 향상되었다.
• MetricGAN 대비 CSIG, CBAK, COVL, PESQ 지표에서 각각 0.22, 0.23, 0.17, 0.08 향상되었다.
• MMSE-GAN이라는 강력한 최고 성능 기준 모델 대비 0.41 PESQ 향상과 약 1%의 STOI 향상을 달성했다.
• MMSE-GAN보다 더 많은 파라미터를 가졌음에도 불구하고, MB-TCN는 훨씬 뛰어난 성능을 보이며 GAN 학습의 불안정성을 피했다.
• 스펙트로그램 비교를 통해 MB-TCN는 더 나은 노이즈 제거 능력과 감소된 음성 왜곡을 보였다.
• 성능과 파라미터 효율성 사이의 최적의 균형을 달성했으며, Wave-U-Net, SEGAN, MDPhD 등의 모델들보다 지표 성능과 모델 크기 측면에서 모두 뛰어난 성능을 보였다.

Figure 3 : Proposed multi-branch TCN (MB-TCN) architecture. It is composed of a fully-connected first layer, FC , followed by N multi-branch TCN blocks, and then a fully-connected output layer, O that employs sigmoid units. $\copyright$ represent the concatenation operation. The kernel size, output