[논문 리뷰] Enhancement and Recognition of Reverberant and Noisy Speech by Extending Its Coherence

Scott Wisdom, Thomas A. Powers외 2명|arXiv (Cornell University)|2015. 09. 02.

Speech and Audio Processing참고 문헌 27인용 수 13

한 줄 요약

이 논문은 단기 팬-초파장 변환(Short-Time Fan-Chirp Transform, STFChT)을 사용하여 분석 윈도우 길이를 연장함으로써 반향성과 노이즈가 있는 음성의 향상을 제안한다. STFChT는 시간에 따라 변하는 기본 주파수를 모델링하여 표준 STFT보다 더 긴 기간 동안의 일관성을 향상시킨다. 이 방법은 PESQ와 같은 객관적 음성 품질 평가에서 뛰어난 성능을 보였지만, 장시간 윈도우 STFT보다는 음성 인식 성능이 떨어져 향상 품질과 ASR 성능 사이의 상충 관계가 드러났다.

ABSTRACT

Most speech enhancement algorithms make use of the short-time Fourier transform (STFT), which is a simple and flexible time-frequency decomposition that estimates the short-time spectrum of a signal. However, the duration of short STFT frames are inherently limited by the nonstationarity of speech signals. The main contribution of this paper is a demonstration of speech enhancement and automatic speech recognition in the presence of reverberation and noise by extending the length of analysis windows. We accomplish this extension by performing enhancement in the short-time fan-chirp transform (STFChT) domain, an overcomplete time-frequency representation that is coherent with speech signals over longer analysis window durations than the STFT. This extended coherence is gained by using a linear model of fundamental frequency variation of voiced speech signals. Our approach centers around using a single-channel minimum mean-square error log-spectral amplitude (MMSE-LSA) estimator proposed by Habets, which scales coefficients in a time-frequency domain to suppress noise and reverberation. In the case of multiple microphones, we preprocess the data with either a minimum variance distortionless response (MVDR) beamformer, or a delay-and-sum beamformer (DSB). We evaluate our algorithm on both speech enhancement and recognition tasks for the REVERB challenge dataset. Compared to the same processing done in the STFT domain, our approach achieves significant improvement in terms of objective enhancement metrics (including PESQ---the ITU-T standard measurement for speech quality). In terms of automatic speech recognition (ASR) performance as measured by word error rate (WER), our experiments indicate that the STFT with a long window is more effective for ASR.

연구 동기 및 목표

• 반향성과 노이즈가 있는 환경에서 음성 향상 및 인식 과제를 개선된 신호 일관성으로 해결한다.
• 짧은 STFT 윈도우로 인해 스펙트럼 해상도가 제한되고 노이즈 제거 아티팩트가 증가하는 한계를 극복한다.
• 분석 윈도우 길이를 연장함으로써 음성 향상 품질을 향상시키되, 최적의 단일채널 추정기와의 호환성을 유지한다.
• 더 긴 분석 윈도우를 사용할 경우 객관적 향상 품질과 자동 음성 인식(ASR) 성능 사이의 상충 관계를 조사한다.
• REVERB 챌린지 데이터셋을 사용하여 STFChT와 STFT의 향상 및 ASR 과제에서의 효과를 평가한다.

제안 방법

• 음성의 유창한 기본 주파수(f0) 변화를 모델링할 수 있는 과잉 결정된 시간-주파수 표현으로서의 단기 팬-초파장 변환(STFChT)을 사용하여 더 긴 일관성 있는 분석 윈도우를 가능하게 한다.
• Habets가 제안한 MMSE-LSA 추정기를 STFChT 도메인에 적용하여 음성과 반향의 통계적 모델 기반으로 노이즈와 후기 반향을 억제한다.
• 단일채널 향상 이전에 다중채널 데이터를 MVDR 또는 딜레이-앤드-서머 beamformer로 사전 처리하여 신호 대 잡음비(SNR)를 향상시킨다.
• STFChT에서 분석 윈도우를 128 ms로 연장하여 표준 32 ms STFT 윈도우보다 스펙트럼 집중도와 각 주파수 빈도의 신호 대 잡음비를 높인다.
• 윈도우 길이 및 f0 추적(예: i0.3는 조화 추적 향상에 기여)과 같은 파rameter를 최적화하여 성능을 향상시킨다.
• Kaldi 기반 시스템을 사용하여 fMLLR 적응 및 MBR 디코딩을 통한 평가를 위해 향상된 신호를 ASR 파ipeline에 통합한다.

실험 결과

연구 질문

• RQ1 표준 STFT 윈도우 시간을 초월해 분석 윈도우 길이를 연장하면 반향성 및 노이즈가 있는 조건에서 음성 향상 품질이 향상되는가?
• RQ2 STFChT 도메인은 음성 신호에 대해 더 긴 일관성을 유지하므로 STFT보다 더 나은 객관적 향상 지표(예: PESQ)를 제공하는가?
• RQ3 STFChT 기반 향상이 객관적 품질 점수는 뛰어나지만 왜 자동 음성 인식(ASR) 성능 향상에 기여하지 않는가?
• RQ4 더 긴 분석 윈도우를 사용할 경우 객관적 향상 품질과 ASR 단어 오류율(WER) 사이에 성능 상충 관계가 존재하는가?
• RQ5 STFChT를 딥 러닝 기법이나 다른 일관성 연장 변환과 조합하면 향상 및 인식 성능을 추가로 향상시킬 수 있는가?

주요 결과

• STFChT 기반 향상은 8채널 입력을 가진 SimData 세트에서 PESQ 점수 2.10을 기록하여 표준 STFT(128 ms 시점에서 1.94)보다 유의미하게 뛰어난 객관적 음성 품질을 보였다.
• RealData 세트에서는 STFChT가 128 ms에서 PESQ 1.81, i0.3를 사용한 96 ms에서 PESQ 1.81을 기록하여 STFT(128 ms에서 1.66)보다 객관적 품질 지표에서 뛰어났다.
• 우수한 향상 품질에도 불구하고 STFChT로는 ASR 성능 향상이 이루어지지 않았다. 실제로 8채널 MVDR beamforming을 사용한 장시간 윈도우 STFT(128 ms)는 SimData 세트에서 가장 낮은 WER 7.31%를 기록했다.
• SimData 세트에서 STFChT 기반 128 ms 윈도우는 WER 7.96%를 기록했고, 장시간 윈도우 STFT는 7.31%를 기록하여 STFT가 ASR에 있어 여전히 우수한 성능을 보였다.
• STFChT 방법은 SRMR 및 FWSegSNR 지표를 향상시켰으며, SimData(8채널)에서 중앙값 FWSegSNR 10.63을 기록하여 STFT(9.31)와 원본 신호를 모두 초월했다.
• 이 연구는 STFChT가 객관적 품질을 향상시키지만, 변환 과정에서 발생할 수 있는 위상 또는 스펙트럼 왜곡으로 인해 ASR에 최적일 수 없음을 확인했으며, STFT와의 보완적 활용이 가능할 수 있음을 시사한다.