[논문 리뷰] Improved Speech Enhancement with the Wave-U-Net

Craig Macartney, Tillman Weyde|arXiv (Cornell University)|2018. 11. 27.

Speech and Audio Processing참고 문헌 10인용 수 56

한 줄 요약

이 논문은 Wave-U-Net 시간 도메인 아키텍처를 음성 향상에 적용하여 Voice Bank/VCTK 설정에서 이전 방법들보다 향상된 객관적 지표를 보이고, 음성은 노래보다 더 작은 네트워크로도 충분하다는 것을 보인다.

ABSTRACT

We study the use of the Wave-U-Net architecture for speech enhancement, a model introduced by Stoller et al for the separation of music vocals and accompaniment. This end-to-end learning method for audio source separation operates directly in the time domain, permitting the integrated modelling of phase information and being able to take large temporal contexts into account. Our experiments show that the proposed method improves several metrics, namely PESQ, CSIG, CBAK, COVL and SSNR, over the state-of-the-art with respect to the speech enhancement task on the Voice Bank corpus (VCTK) dataset. We find that a reduced number of hidden layers is sufficient for speech enhancement in comparison to the original system designed for singing voice separation in music. We see this initial result as an encouraging signal to further explore speech enhancement in the time-domain, both as an end in itself and as a pre-processing step to speech recognition systems.

연구 동기 및 목표

• Wave-U-Net을 사용한 엔드투엔드 시간 도메인 음성 향상을 동기화된 파형 및 위상 정보를 함께 모델링하도록 동기부여하고 평가한다.
• Wave-U-Net이 표준 벤치마크에서 최첨단 음성 향상 방법을 능가할 수 있는지 조사한다.
• 음성 향상을 위한 네트워크 크기가 성능에 미치는 영향을 평가한다.
• Wave-U-Net을 Wiener 필터링 및 SEGAN 기준선과 비교하여 음성 향상 작업에서의 효과를 입증한다.

제안 방법

• 단일 채널 혼합에서 두 개의 소스를 예측하기 위해 다운샘플링 및 업샘플링 블록을 갖춘 1D U-Net인 Wave-U-Net 아키텍처를 채택한다.
• 출력을 [-1,1]로 제한하기 위해 K·C 필터의 1D 컨볼루션과 tanh 비선형성을 사용하여 샘플당 소스 예측을 형식화한다.
• 마지막 출력 층을 제외한 모든 층에서 LeakyReLU 활성화를 사용한다.
• ADAM으로 학습률 1e-4, 배치 크기 16, 검증 집합 기반 조기 중단으로 무작위로 샘플링된 오디오 발췌에서 학습한다.
• 최고 모델을 배치 크기를 두 배로 늘리고 학습률을 1e-5로 줄여 최대 20 에포크 동안 검증 개선이 없도록 미세조정한다.

실험 결과

연구 질문

• RQ1 시간 도메인 Wave-U-Net가 Voice Bank/VCTK 데이터셋에서 음성 향상 지표를 최첨단 방법보다 향상시킬 수 있는가?
• RQ2 음성 향상을 위한 Wave-U-Net의 성능에 네트워크 깊이가 어떤 영향을 주며 더 작은 모델이 충분한가?
• RQ3 Wave-U-Net이 객관적 음성 품질 및 가독성 지표에서 Wiener 필터링 및 SEGAN과 어떻게 비교되는가?
• RQ4 Wave-U-Net 아키텍처를 음성 향상에 효과적으로 조정하고 다채널/다소스 설정으로 확장할 수 있는가?

주요 결과

• Wave-U-Net은 음성 향상에서 PESQ, CSIG, CBAK, COVL, 및 SSNR 지표에서 Wiener 필터링 및 SEGAN을 능가한다.
• 실험에서 최고의 Wave-U-Net 구성은 10-레이어 모델이며 미세조정을 통해 테스트된 변형들 중 최상위를 차지한다.
• 미세조정 없이도 9- 및 10-레이어 Wave-U-Nets가 최적의 수용 필드를 제시하여 음성에 필요한 receptive field가 음악 소스 분리에 사용된 것보다 작다는 것을 시사한다.
• Wave-U-Net은 SSNR이 9.97로 baselines(노이즈 1.68, Wiener 5.07, SEGAN 7.73)보다 높다.
• 음성 향상에는 노래 보컬 분리 작업보다 더 적은 숨겨진 층이 충분하다.