[논문 리뷰] Phase-aware Speech Enhancement with Deep Complex U-Net

Hyeong-Seok Choi, Jang-Hyun Kim외 4명|arXiv (Cornell University)|2019. 03. 07.

Speech and Audio Processing인용 수 79

한 줄 요약

이 논문은 위상 인식을 고려한 음성 향상을 위한 Deep Complex U-Net, 극 좌표 기반의 복소 마스킹 방식, 그리고 크기만이 아니라 위상 정보를 활용한 재구성 품질 향상을 위한 wSDR 손실을 제안한다.

ABSTRACT

Most deep learning-based models for speech enhancement have mainly focused on estimating the magnitude of spectrogram while reusing the phase from noisy speech for reconstruction. This is due to the difficulty of estimating the phase of clean speech. To improve speech enhancement performance, we tackle the phase estimation problem in three ways. First, we propose Deep Complex U-Net, an advanced U-Net structured model incorporating well-defined complex-valued building blocks to deal with complex-valued spectrograms. Second, we propose a polar coordinate-wise complex-valued masking method to reflect the distribution of complex ideal ratio masks. Third, we define a novel loss function, weighted source-to-distortion ratio (wSDR) loss, which is designed to directly correlate with a quantitative evaluation measure. Our model was evaluated on a mixture of the Voice Bank corpus and DEMAND database, which has been widely used by many deep learning models for speech enhancement. Ablation experiments were conducted on the mixed dataset showing that all three proposed approaches are empirically valid. Experimental results show that the proposed method achieves state-of-the-art performance in all metrics, outperforming previous approaches by a large margin.

연구 동기 및 목표

• 노이즈가 있는 위상 재사용을 넘어서는 위상 추정 문제를 다루어 음성 향상을 개선하려는 동기를 제시한다.
• 복소 스펙트로그램에 대해 복소-valued 빌딩 블록으로 구성된 Deep Complex U-Net을 개발한다.
• 복소수 마스크 분포를 더 잘 반영하기 위해 극 좌표 방식의 복소수 마스킹 방법을 제안한다.
• 평가 지표와 일치하도록 가중된 소스 대 왜곡 비율(wSDR) 손실을 도입한다.
• 표준 혼합 음성 데이터셋에서의 제거를 통해 실험적 이득을 보여준다.

제안 방법

• U-Net을 확장하여 복소 스펙트로그램에서 작동하도록 복소-valued 레이어를 도입한다.
• 극 좌표 방식의 복소수 빌딩 마스크링을 도입하여 위상과 크기를 함께 모델링한다.
• 정량적 지표와의 상관 관계를 갖는 가중 SDR(wSDR) 손실을 정의하고 활용한다.
• Voice Bank + DEMAND 혼합 데이터셋에서 평가하고 제거 실험(ablation studies)을 수행한다.
• 크기 추정만하고 노이즈 위상을 재사용하는 이전 방법과의 비교를 수행한다.

실험 결과

연구 질문

• RQ1 복소값 U-Net이 크기가 큰 모델보다 위상 인식을 고려한 음성 향상을 개선할 수 있는가?
• RQ2 극 좌표 방식의 복소수 마스킹이 실수 값 마스킹보다 복소 마스크 분포를 더 잘 포착하는가?
• RQ3 wSDR 손실이 객관적 평가 지표와의 정렬을 직접적으로 개선하는가?
• RQ4 제안된 구성요소들(복소 U-Net, 극 마스킹, wSDR)의 각각의 기여도는 무엇인가?
• RQ5 제안된 방법이 표준 혼합 음성 데이터셋에서 이전 접근법에 비해 어떤 성능을 보이는가?

주요 결과

• 본 접근법은 혼합 Voice Bank 및 DEMAND 데이터셋에서 모든 지표에서 상태-최고의 성능을 달성한다.
• 제거 실험은 세 가지 제안 접근법의 실험적 타당성을 확인한다.
• 모델은 추상적으로 이전 접근법보다 큰 폭으로 우월한 성능을 보인다.
• 복소수 모델링, 극 마스킹, wSDR 손실의 조합은 향상된 향상 결과를 가져온다.