[논문 리뷰] Deep Speech Enhancement for Reverberated and Noisy Signals using Wide Residual Networks

Dayana Ribas, Jorge Llombart외 2명|arXiv (Cornell University)|2019. 01. 03.

Speech and Audio Processing참고 문헌 58인용 수 15

한 줄 요약

이 논문은 반향되고 노이즈가 섞인 음성에서 시간적 의존성을 모델링하기 위해 1D 컨볼루션을 사용하는 넓은 잔차망(WRN)을 활용한 딥 음성 강화 방법을 제안한다. 잔차 연결은 청소된 음성 복원의 효과적인 학습을 가능하게 하여, 특히 저SNR 및 원거리 조건에서 음성 품질과 자동 음성 인식(ASR) 성능을 크게 향상시킨다. 기존의 MM-LSA와 같은 전통적 방법보다 뛰어난 성능을 보인다.

ABSTRACT

This paper proposes a deep speech enhancement method which exploits the high potential of residual connections in a wide neural network architecture, a topology known as Wide Residual Network. This is supported on single dimensional convolutions computed alongside the time domain, which is a powerful approach to process contextually correlated representations through the temporal domain, such as speech feature sequences. We find the residual mechanism extremely useful for the enhancement task since the signal always has a linear shortcut and the non-linear path enhances it in several steps by adding or subtracting corrections. The enhancement capacity of the proposal is assessed by objective quality metrics and the performance of a speech recognition system. This was evaluated in the framework of the REVERB Challenge dataset, including simulated and real samples of reverberated and noisy speech signals. Results showed that enhanced speech from the proposed method succeeded for both, the enhancement task with intelligibility purposes and the speech recognition system. The DNN model, trained with artificial synthesized reverberation data, was able to deal with far-field reverberated speech from real scenarios. Furthermore, the method was able to take advantage of the residual connection achieving to enhance signals with low noise level, which is usually a strong handicap of traditional enhancement methods.

연구 동기 및 목표

• 기존의 통계적 음성 강화 방법의 한계를 해결하기 위해, 비정상적인 노이즈와 반향성에 취약한 기존 방법의 문제점을 해결한다.
• 실세계 음향 조건에서 하류 ASR 시스템의 음성 이해 가능성과 내성성을 향상시키기 위해 노력한다.
• 딥 러닝, 특히 넓은 잔차망(WRN)을 활용하여 음성 신호의 복잡한 시간적 및 스펙트럼 상관관계를 모델링한다.
• 기존 방법이 자주 실패하는 저신호대노이즈비(SNR) 상황에서의 성능 저하 문제를 해결한다.
• 넓은 CNN 아키텍처에서의 잔차 학습이 노이즈가 섞이고 반향성이 있는 음성 모두를 효과적으로 강화할 수 있음을 입증한다.

제안 방법

• 시간 차원을 따라 1D 컨볼루션을 적용한 넓은 잔차망(WRN) 아키텍처를 사용하여 음성 특징 시퀀스의 시간적 맥락을 캡처한다.
• 잔차 연결을 통해 학습 안정성을 높이고, 신호의 정체성 매핑 학습을 가능하게 하며, 스킵 연결은 원본 신호를 유지하고 비선형 경로는 학습된 보정을 추가한다.
• 인공적으로 생성된 반향 데이터를 기반으로 엔드 투 엔드로 학습하여 노이즈가 섞이고 반향성이 있는 음성에서 청소된 음성으로의 매핑을 학습한다.
• 확장된 컨볼루션을 통해 다중 척도의 수신 영역을 활용하여 시간 영역에서 장거리 의존성을 캡처한다.
• 손실 함수는 예측된 청소된 음성 특징과 목표 청소된 음성 특징 간의 평균 제곱오차(MSE)를 기반으로 하며, 역전파를 통해 최적화된다.
• REVERB 챌린지 데이터셋을 사용하여 객관적 음성 품질 지표(LLR, CD)와 자동 음성 인식(ASR) 단어 오류율(WER)을 평가한다.

실험 결과

연구 질문

• RQ1 넓은 잔차망(WRN) 아키텍처는 반향성과 노이즈가 섞인 음성 신호를 효과적으로 강화하면서도 이해 가능성은 유지할 수 있는가?
• RQ2 WRN에서의 잔차 학습 메커니즘이 기존의 통계적 방법(MM-LSA)에 비해 성능 향상에 기여하는 방식은 무엇인가?
• RQ3 인공 반향 데이터로 학습된 모델이 실제 원거리 반향성 음성 조건에 얼마나 잘 일반화되는가?
• RQ4 기존 방법이 자주 실패하는 저신호대노이즈비(SNR) 조건에서도 제안된 방법이 성능을 유지하거나 향상시키는가?
• RQ5 WRN 기반 강화 방법은 시뮬레이션 및 실제 녹음 환경을 포함한 다양한 음향 환경에서 하류 ASR 성능을 향상시킬 수 있는가?

주요 결과

• WRN 기반 강화 방법은 모든 테스트 조건에서 기존의 MM-LSA 기준선에 비해 음성 품질 지표(LLR 및 CD)와 ASR 단어 오류율(WER) 모두에서 뚜렷한 성능 향상을 보였다.
• REVERB 개발 데이터셋에서 WRN 모델은 원거리 반향성 음성에 대해 GMM-HMM 기준 WER 45.89%와 GMM-HMM MCT + fMLLR 기준 47.29%를 기록했으며, 기준선 노이즈 입력의 89.59%에 비해 뛰어난 성능을 보였다.
• REVERB 평가 데이터셋에서는 WRN 모델이 GMM-HMM 기준 WER 44.14%와 GMM-HMM MCT + fMLLR 기준 46.85%를 기록했으며, 기준선 노이즈 입력의 88.41%에 비해 유의미한 향상이 있었다.
• 모델은 인공 반향성 데이터로만 학습되었음에도 불구하고 실제 원거리 시나리오에 대해 강력한 일반화 성능를 보였다.
• 기존 강화 기법이 어려운 것으로 알려진 저SNR 음성도 성공적으로 강화하여, 잔차 학습이 청소된 신호 성분을 효과적으로 유지함을 시사했다.
• 잔차 메커니즘이 입력 신호의 선형 스킵 경로를 허용함으로써 안정적인 학습과 효과적인 신호 복원을 가능하게 했다.