[论文解读] Enhancement and Recognition of Reverberant and Noisy Speech by Extending Its Coherence

Scott Wisdom, Thomas A. Powers+2 more|arXiv (Cornell University)|Sep 2, 2015

Speech and Audio Processing参考文献 27被引用 13

一句话总结

本文提出通过扩展短时扇 chirp 变换（STFChT）的分析窗长来增强混响和噪声语音，该方法通过建模时变基频以实现比标准短时傅里叶变换（STFT）更长时域的相干性。该方法在客观语音质量方面表现更优（如 PESQ），但使用长窗 STFT 时词错误率更低，表明增强质量与自动语音识别（ASR）性能之间存在权衡。

ABSTRACT

Most speech enhancement algorithms make use of the short-time Fourier transform (STFT), which is a simple and flexible time-frequency decomposition that estimates the short-time spectrum of a signal. However, the duration of short STFT frames are inherently limited by the nonstationarity of speech signals. The main contribution of this paper is a demonstration of speech enhancement and automatic speech recognition in the presence of reverberation and noise by extending the length of analysis windows. We accomplish this extension by performing enhancement in the short-time fan-chirp transform (STFChT) domain, an overcomplete time-frequency representation that is coherent with speech signals over longer analysis window durations than the STFT. This extended coherence is gained by using a linear model of fundamental frequency variation of voiced speech signals. Our approach centers around using a single-channel minimum mean-square error log-spectral amplitude (MMSE-LSA) estimator proposed by Habets, which scales coefficients in a time-frequency domain to suppress noise and reverberation. In the case of multiple microphones, we preprocess the data with either a minimum variance distortionless response (MVDR) beamformer, or a delay-and-sum beamformer (DSB). We evaluate our algorithm on both speech enhancement and recognition tasks for the REVERB challenge dataset. Compared to the same processing done in the STFT domain, our approach achieves significant improvement in terms of objective enhancement metrics (including PESQ---the ITU-T standard measurement for speech quality). In terms of automatic speech recognition (ASR) performance as measured by word error rate (WER), our experiments indicate that the STFT with a long window is more effective for ASR.

研究动机与目标

• 解决在混响和噪声环境中语音增强与识别的挑战，提升信号相干性。
• 克服短 STFT 窗口导致的频谱分辨率受限及噪声抑制伪影增多的局限性。
• 通过延长分析窗长来提升语音增强质量，同时保持与最优单通道估计器的兼容性。
• 研究在使用更长分析窗时，客观增强质量与自动语音识别（ASR）性能之间的权衡。
• 基于 REVERB 挑战数据集，评估 STFChT 与 STFT 在增强和 ASR 任务中的有效性。

提出的方法

• 使用短时扇 chirp 变换（STFChT）作为过完备时频表示，建模语音中线性基频（f0）变化，实现更长的相干分析窗。
• 在 STFChT 域中应用 Habets 提出的 MMSE-LSA 估计器，基于语音与混响的统计模型抑制噪声和晚反射。
• 在单通道增强前，使用 MVDR 或延迟与求和波束成形器对多通道数据进行预处理，以提高信噪比。
• 将 STFChT 的分析窗扩展至 128 ms，相比标准 32 ms STFT 窗口，提升每个频点的频谱集中度和信噪比。
• 通过优化窗长和 f0 跟踪参数（如 i0.3 以改善谐波跟踪）来提升性能。
• 使用基于 Kaldi 的系统将增强信号集成到 ASR 流水线中，采用 fMLLR 自适应和 MBR 解码进行评估。

实验结果

研究问题

• RQ1 将分析窗长扩展至超过标准 STFT 持续时间，是否能提升在混响和噪声环境下的语音增强质量？
• RQ2 由于 STFChT 域具有更长的信号相干性，其是否在客观增强指标（如 PESQ）上优于 STFT？
• RQ3 尽管 STFChT 增强的客观质量得分更优，为何其并未提升自动语音识别（ASR）性能？
• RQ4 在使用更长分析窗时，是否存在客观增强质量与 ASR 词错误率（WER）之间的性能权衡？
• RQ5 将 STFChT 与深度学习方法或其他扩展相干性的变换结合，是否能进一步提升增强与识别性能？

主要发现

• 在 SimData 数据集上，STFChT 增强方法在 8 通道输入下获得 2.10 的 PESQ 分数，显著优于 STFT（128 ms 时为 1.94），表明客观语音质量更优。
• 在 RealData 数据集上，STFChT 在 128 ms 时获得 1.81 的 PESQ 分数，在 96 ms（使用 i0.3）时也为 1.81，优于 STFT（128 ms 时为 1.66），在客观质量指标上表现更佳。
• 尽管增强质量更优，STFChT 并未提升 ASR 性能；事实上，长窗 STFT（128 ms）在 8 通道 MVDR 波束成形下于 SimData 数据集上实现了最低的 WER（7.31%）。
• 在 SimData 数据集上，STFChT 方法使用 128 ms 窗口时 WER 为 7.96%，而长窗 STFT 为 7.31%，表明 STFT 在 ASR 任务中仍更优。
• STFChT 方法提升了 SRMR 和 FWSegSNR 指标，其在 SimData（8ch）上的中位数 FWSegSNR 达 10.63，优于 STFT（9.31）和原始信号。
• 研究证实，尽管 STFChT 提升了客观质量，但可能因变换引入的相位或频谱失真而不适于 ASR，提示其与 STFT 联合使用具有潜力。