[논문 리뷰] DPCRN: Dual-Path Convolution Recurrent Network for Single Channel Speech Enhancement

Xiaohuai Le, Hongsheng Chen외 2명|arXiv (Cornell University)|2021. 07. 12.

Speech and Audio Processing참고 문헌 32인용 수 7

한 줄 요약

이 논문은 시간-주파수 도메인에서 단일 채널 음성 향상에 적합한 이중경로 컨volution 리커런트 네트워크인 DPCRN을 제안한다. DPCRN은 CRN과 DPRNN의 장점을 융합하여 프레임 내의 스펙트럼 패턴과 프레임 간의 시간적 의존성을 모델링한다. 모델 크기가 0.8M 파라미터에 불과함에도 불구하고, Interspeech 2021 DNS 챌린지 블라인드 테스트 세트에서 평균 관점 점수(MOS) 3.57을 기록하여 광대역 시나리오 트랙에서 3위를 차지했다.

ABSTRACT

The dual-path RNN (DPRNN) was proposed to more effectively model extremely long sequences for speech separation in the time domain. By splitting long sequences to smaller chunks and applying intra-chunk and inter-chunk RNNs, the DPRNN reached promising performance in speech separation with a limited model size. In this paper, we combine the DPRNN module with Convolution Recurrent Network (CRN) and design a model called Dual-Path Convolution Recurrent Network (DPCRN) for speech enhancement in the time-frequency domain. We replace the RNNs in the CRN with DPRNN modules, where the intra-chunk RNNs are used to model the spectrum pattern in a single frame and the inter-chunk RNNs are used to model the dependence between consecutive frames. With only 0.8M parameters, the submitted DPCRN model achieves an overall mean opinion score (MOS) of 3.57 in the wide band scenario track of the Interspeech 2021 Deep Noise Suppression (DNS) challenge. Evaluations on some other test sets also show the efficacy of our model.

연구 동기 및 목표

• 제한된 모델 크기로 시간-주파수 표현에서 장거리 시간적 의존성을 모델링하는 데 도전하는 것.
• 파rameter 효율적인 딥 러닝 아키텍처를 사용하여 저SNR 및 반사 환경에서 음성 품질과 이해도를 향상시키는 것.
• 계산 복잡도를 줄여 실시간 추론을 가능하게 하되, 높은 성능을 유지하는 것.
• 시간-주파수 도메인에서 국소적 스펙트럼 패턴 학습을 위한 컨볼루션 네트워크와 장기 시퀀스 모델링을 위한 이중경로 RNN의 장점을 통합하는 것.

제안 방법

• DPCRN 모델은 CRN 내 표준 RNN을 이중경로 RNN(DPRNN) 모듈로 대체하여, 청크 내(프레임 내) 및 청크 간(프레임 간) 의존성을 별도로 모델링한다.
• 1D 컨볼루션 레이어에서 생성된 특징들이 DPRNN 모듈에 입력되며, 스펙트로그램 프레임을 청크 단위로 처리하여 시퀀스 길이를 단축하고 학습 효율성을 향상시킨다.
• 처리된 특징에서 복소비율 마스크(CRM)를 출력하고, 역컨볼루션 디코더를 사용하여 향상된 음성 웨이브폼을 재구성한다.
• 손실 함수는 시간-주파수 평균 제곱 오차(TF-MSE)와 청취자 인지 목표를 결합하여 음성 품질과 이해도를 향상시킨다.
• 입력 특징의 주파수 차원을 50으로 감소시켜 스펙트럼 해상도와 실시간 처리 요구 사항 사이의 균형을 맞춘다.
• 모델은 노이즈가 섞인 음성 스펙트로그램을 입력으로 사용하고, 정제된 음성 타겟을 지도로 하여 엔드 투 엔드로 훈련되며, CRM 추정이 주요 출력이다.

Figure 1: (a) Proposed DPCRN model and (b) the diagram of the DPRNN module. “f”, “t” and “c” represent frequency, time and channel axes, respectively.

실험 결과

연구 질문

• RQ1 표준 RNN과 비교해 이중경로 RNN 아키텍처가 시간-주파수 도메인 음성 향상에서 스펙트럼 모델링을 향상시킬 수 있는가?
• RQ2 CRN과 DPRNN을 융합함으로써 기존 최고 성능 모델 대비 더 적은 파라미터로 더 높은 성능을 달성할 수 있는가?
• RQ3 DPCRN 모델은 저SNR 및 도전적인 노이즈 조건에서 베이스라인 대비 어떻게 성능을 발휘하는가?
• RQ4 최소한의 파라미터 수와 낮은 지연 시간으로 실시간 응용에 경쟁 가능한 성능을 달성할 수 있는가?

주요 결과

• DPCRN-2는 DNS 챌린지 개발 세트에서 DNSMOS 점수 3.472를 기록했으며, NSNet2(3.243), DTLN(3.226), DCCRN(3.373)을 모두 초월했다.
• DNS 블라인드 테스트 세트에서 DPCRN은 총 MOS 3.57을 기록했으며, 광대역 시나리오 트랙에서 3위를 기록했고, 음성 MOS는 3.76, 배경 노이즈 MOS는 4.34였다.
• 모의 WSJ0-MUSAN 테스트 세트에서 DPCRN-1은 저SNR 수준(≤0 dB)에서 DCCRN을 능가했으며, 악조건에서도 강건함을 입증했다.
• WSJ0-NOISEX92 테스트 세트에서 DPCRN-1은 PESQ, STOI, SDR 모두에서 모든 베이스라인을 뛰어넘었으며, 이는 DPRNN이 간섭성 노이즈를 모델링하는 데 유용함을 확인했다.
• DPCRN-2는 DPCRN-1보다 높은 PESQ와 STOI를 기록했지만, 약간 낮은 SDR를 기록했으며, 이는 복합 손실 함수가 청취자 인지 품질을 향상시켰음을 시사한다.
• 모델의 추론 시간은 4코어 인텔 i5-6300HQ에서 1프레임당 8.9ms이며, 계산 복잡도는 7.45 GFLOPS로 실시간 배포를 지원한다.