[논문 리뷰] SkipConvNet: Skip Convolutional Neural Network for Speech Dereverberation using Optimally Smoothed Spectral Mapping

Vinay Kothapally, Wei Xia외 4명|arXiv (Cornell University)|2020. 07. 17.

Speech and Audio Processing참고 문헌 24인용 수 25

한 줄 요약

이 논문은 표준 스킵 커넥션 대신 다중 컨볼루션 모듈을 사용하여 특징 학습을 향상시키는 완전 컨볼루션형 U-Net 변종인 SkipConvNet을 제안한다. 또한 파wer 스펙트럼 밀도(PSD)의 최적 스무딩을 사전 처리 단계로 도입한다. 이 방법은 REVERB 챌린지 코퍼스의 시뮬레이션 및 실세계 데이터에서 WPE와 표준 U-Net을 모두 능가하는 음성 품질 향상과 백엔드 시스템 성능 향상을 달성한다.

ABSTRACT

The reliability of using fully convolutional networks (FCNs) has been successfully demonstrated by recent studies in many speech applications. One of the most popular variants of these FCNs is the `U-Net', which is an encoder-decoder network with skip connections. In this study, we propose `SkipConvNet' where we replace each skip connection with multiple convolutional modules to provide decoder with intuitive feature maps rather than encoder's output to improve the learning capacity of the network. We also propose the use of optimal smoothing of power spectral density (PSD) as a pre-processing step, which helps to further enhance the efficiency of the network. To evaluate our proposed system, we use the REVERB challenge corpus to assess the performance of various enhancement approaches under the same conditions. We focus solely on monitoring improvements in speech quality and their contribution to improving the efficiency of back-end speech systems, such as speech recognition and speaker verification, trained on only clean speech. Experimental findings show that the proposed system consistently outperforms other approaches.

연구 동기 및 목표

• 반향 환경에서 딥 러닝을 활용한 음성 제리버버레이션 성능 향상.
• 표준 U-Net 스킵 커넥션의 한계를 보완하기 위해 학습 가능한 컨볼루션 모듈로 대체함.
• 구조적 스킵 경로를 통해 디코더 내 특징 표현 및 학습 능력 향상.
• 최적의 PSD 스무딩을 사전 처리 단계로 도입했을 때 네트워크 성능에 미치는 영향 조사.
• 시뮬레이션 및 실기록 데이터에서 제안된 시스템의 평가를 통해 음성 품질 향상과 백엔드 시스템 성능 향상에 집중.

제안 방법

• 표준 U-Net의 스킵 커넥션을 다중 컨볼루션 모듈로 대체하여 디코더에 더 풍부하고 직관적인 특징 맵을 제공한다.
• 최소 통계 기반 접근을 사용하여 시간 및 주파수에 따라 변하는 최적 스무딩 파라미터 α_opt(t,f)를 도입해 파워 스펙트럼 밀도(PSD) 추정에 활용한다.
• 최적 스무딩된 PSD를 네트워크 입력으로 사용하며, -80 dB 이하 값은 다이내믹 레인지 유지를 위해 클리핑한다.
• 스트라이드 컨볼루션(다운샘플링)과 트랜스포지드 컨볼루션(업샘플링)을 사용한 완전 컨볼루션형 인코더-디코더 아키텍처를 도입해 엔드 투 엔드 학습을 구현한다.
• 예측된 정규화된 로그 파wer 스펙트럼 크기(LPS)와 정제된 LPS 간의 평균 제곱오차(MSE) 손실을 사용해 네트워크를 학습하며, Adam 옵티마이저와 배치 크기 8로 10 에포크 동안 학습한다.
• 네트워크가 예측한 LPS와 원본 노이즈 있는 위상 정보를 조합하여 향상된 음성을 복원한다.

실험 결과

연구 질문

• RQ1 U-Net의 표준 스킵 커넥션을 학습 가능한 컨볼루션 모듈로 대체할 경우 음성 제리버버레이션 성능 향상이 가능할까?
• RQ2 사전 처리 단계로 최적의 PSD 스무딩을 적용할 경우, 완전 컨볼루션 네트워크의 학습 효율성과 최종 성능 향상이 이루어질까?
• RQ3 시뮬레이션 및 실세계 데이터에서 SkipConvNet은 음성 품질 및 백엔드 시스템 성능 측면에서 WPE와 표준 U-Net보다 어떻게 비교되는가?
• RQ4 제안된 사전 처리 단계는 SkipConvNet을 초월해 다른 FCN 아키텍처의 성능 향상에 어느 정도 기여하는가?
• RQ5 제안된 방법은 순수하게 정제된 음성으로만 훈련된 자동 음성 인식(ASR) 및 발화자 확인(SV) 시스템에서 일관되게 성능 향상을 이끌 수 있는가?

주요 결과

• SkipConvNet은 시뮬레이션 및 실세계 데이터에서 표준 U-Net 대비 음성 품질 지표(예: CD, FWSegSNR, SRMR)에서 54.45% 상대적 향상을 달성했다.
• 제안된 최적 스무딩 사전 처리 단계만으로도 U-Net 성능이 상대적으로 39.19% 향상되어, SkipConvNet을 초월해 일반적인 이점이 있음을 입증했다.
• 모든 품질 지표 평균에서, 사전 처리를 적용한 U-Net 대비 SkipConvNet은 10.40% 상대적 향상을 달성했다.
• 발화자 확인 성능에서는, 시뮬레이션 및 실기록 데이터에서 WPE 대비 EER이 35.03% 상대적으로 감소했고, 사전 처리된 데이터로 훈련된 U-Net 대비 16.42% 감소했다.
• 자동 음성 인식 성능에서는, 시뮬레이션 및 실세계 데이터에서 WPE 대비 48.15% 상대적 향상, 사전 처리된 U-Net 대비 23.94% 향상 달성했다.
• 스펙트로그램 시각화 및 높은 SRMR/FWSegSNR 점수를 통해, 이 방법은 반향 음성의 형성 구조를 효과적으로 유지하고 처리 잡음을 감소시켰다.