[논문 리뷰] Phase-aware Single-stage Speech Denoising and Dereverberation with U-Net

Hyeong-Seok Choi, Hoon Heo외 2명|arXiv (Cornell University)|2020. 06. 01.

Speech and Audio Processing참고 문헌 27인용 수 6

한 줄 요약

이 논문은 단일 스테이지 U-Net 프레임워크를 제안하며, 복소수 도메인에서 삼각부등식을 강제하여 위상 추정을 향상시키는 새로운 단일 위상 인식 β-시그모이드 마스크(PHM)를 사용하여 복소수 스펙트로그램의 위상 추정을 개선한다. 또한 다중 척도 시간 도메인余弦 유사도 손실 함수와 최적화된 추론 전략을 도입하여 DNS 및 WHAMR 데이터셋에서 상태최고 수준의 성능을 달성하였으며, SI-SDR과 PESQ에서 뚜렷한 향상을 이룬다. 계산량은 88.9% 감소하였다.

ABSTRACT

In this work, we tackle a denoising and dereverberation problem with a single-stage framework. Although denoising and dereverberation may be considered two separate challenging tasks, and thus, two modules are typically required for each task, we show that a single deep network can be shared to solve the two problems. To this end, we propose a new masking method called phase-aware beta-sigmoid mask (PHM), which reuses the estimated magnitude values to estimate the clean phase by respecting the triangle inequality in the complex domain between three signal components such as mixture, source and the rest. Two PHMs are used to deal with direct and reverberant source, which allows controlling the proportion of reverberation in the enhanced speech at inference time. In addition, to improve the speech enhancement performance, we propose a new time-domain loss function and show a reasonable performance gain compared to MSE loss in the complex domain. Finally, to achieve a real-time inference, an optimization strategy for U-Net is proposed which significantly reduces the computational overhead up to 88.9% compared to the naïve version.

연구 동기 및 목표

• 분리된 소음 제거 및 리버버브 제거 모듈의 한계를 해결하기 위해 두 작업을 하나의 딥 러닝 프레임워크로 통합한다.
• 크기 추정치를 활용하여 복소수 스펙트로그램에서 위상 추정 정확도를 향상시키기 위해 크기 추정치를 재사용하고 복소수 도메인에서 혼합, 소스 및 잔여 성분 간 삼각부등식을 강제한다.
• 음성 향상에서의 청취 품질과 일반화 능력을 향상시키기 위해 시간 도메인 손실 함수를 개발한다.
• 성능을 희생시키지 않은 채 실시간 배포를 위한 U-Net 추론 최적화 전략을 수립한다.
• 학습된 이중 PHM를 통해 추론 시 리버버브 억제 수준을 제어 가능하게 한다.

제안 방법

• 혼합, 소스 및 잔여 성분 간 복소수 도메인에서 삼각부등식을 강제하여 청소된 위상을 추정하는 위상 인식 β-시그모이드 마스크(PHM)를 제안한다.
• 직접 경로 및 리버버브 성분을 별도로 추정하기 위해 두 개의 PHM을 사용하여 추론 시 리버버브 수준을 동적으로 제어할 수 있도록 한다.
• 음성 품질과 시간적 일관성을 향상시키기 위해 시간 도메인에서 다중 척도 강조된 코사인 유사도 손실 함수를 설계한다.
• 2D U-Net의 계산 최적화 전략을 도입하여 기존 간단한 구현 대비 추론 지연을 최대 88.9%까지 감소시킨다.
• PHM와 시간 도메인 손실의 조합을 사용하여 복소수 스펙트로그램을 기반으로 훈련함으로써 크기 및 위상의 동시 최적화를 가능하게 한다.
• 시험 시점에 영향을 주지 않는 제로 딜레이 다이내믹 레인지 컴프레서를 적용하고, 직접 및 리버버브 성분을 선형으로 혼합하여 청취 품질을 향상시킨다.

실험 결과

연구 질문

• RQ1 분리된 모듈 없이 하나의 딥 네트워크가 동시에 음성 소음 제거 및 리버버브 제거를 효과적으로 수행할 수 있는가?
• RQ2 복소 평면에서 기하학적 제약 조건을 활용함으로써 복소수 음성 향상에서 위상 추정을 어떻게 향상시킬 수 있는가?
• RQ3 전통적인 복소수 도메인 MSE 손실 대비 다중 척도 시간 도메인 손실 함수가 음성 품질과 이해도 측면에서 우월한가?
• RQ4 실시간 배포를 위한 U-Net 기반 음성 향상 모델에서 계산 효율성을 얼마나 향상시킬 수 있는가?
• RQ5 학습된 이중 마스크를 통해 추론 시 출력에서 리버버브 비율을 제어할 수 있는가?

주요 결과

• 제안된 다중 척도 강조 코사인 유사도 손실 함수는 DNS 챌린지 데이터셋(리버버브 포함)에서 SI-SDR을 2.2 dB 향상시키고, WHAMR(r2d 작업)에서는 1.09 dB 향상시켰다. 복소수 MSE 손실 대비.
• 위상 인식 β-시그모이드 마스크는 r2d 작업에서 64%의 위상 향상을 달성하여 청소된 신호와의 위상 일치도가 크게 향상됨을 시사한다.
• 최적화된 실시간 U-Net 모델(model10)은 4.32 ms 프레임 추론 시간을 기록하여 기준 모델 대비 계산 오버헤드를 88.9% 감소시켰다.
• 주관적 MOS 점수는 3.36(causal-NRT) 및 3.24(causal-RT)를 기록하여 실시간 제약 조건에도 불구하고 높은 청취 품질을 확보하였다.
• 제거 분석 결과, 제안된 손실 함수가 여러 벤치마크에서 소음 제거 및 리버버브 제거 작업 전반에 걸쳐 기준 손실 함수를 항상 초월하는 것으로 확인되었다.
• 이 방법은 DNS 및 WHAMR 데이터셋 모두에서 최고 성능을 달성하였으며, SI-SDR은 각각 17.91(DNS 리버버브 포함)과 10.40(WHAMR r2d), PESQ는 각각 3.01과 3.16을 기록하였다.