[论文解读] Acoustics-guided evaluation (AGE): a new measure for estimating performance of speech enhancement algorithms for robust ASR

Li Chai, Jun Du+1 more|arXiv (Cornell University)|Nov 28, 2018

Speech and Audio Processing参考文献 16被引用 7

一句话总结

本文提出声学引导评估（AGE），一种新型指标，可在无需人工转录或自动语音识别（ASR）解码的情况下，估计语音增强算法（SEA）在鲁棒ASR中的性能。AGE利用预训练声学模型计算干净语音与受损语音的帧状态后验概率之间的交叉熵，与词错误率（WER）的相关性最高，优于PESQ、STOI以及基于熵的置信度度量。

ABSTRACT

One challenging problem of robust automatic speech recognition (ASR) is how to measure the goodness of a speech enhancement algorithm (SEA) without calculating the word error rate (WER) due to the high costs of manual transcriptions, language modeling and decoding process. Traditional measures like PESQ and STOI for evaluating the speech quality and intelligibility were verified to have relatively low correlations with WER. In this study, a novel acoustics-guided evaluation (AGE) measure is proposed for estimating performance of SEAs for robust ASR. AGE consists of three consecutive steps, namely the low-level representations via the feature extraction, high-level representations via the nonlinear mapping with the acoustic model (AM), and the final AGE calculation between the representations of clean speech and degraded speech. Specifically, state posterior probabilities from neural network based AM are adopted for the high-level representations and the cross-entropy criterion is used to calculate AGE. Experiments demonstrate AGE could yield consistently highest correlations with WER and give the most accurate estimation of ASR performance compared with PESQ, STOI, and acoustic confidence measure using Entropy. Potentially, AGE could be adopted to guide the parameter optimization of deep learning based SEAs to further improve the recognition performance.

研究动机与目标

• 为解决通过自动语音识别（ASR）中的词错误率（WER）评估语音增强算法（SEAs）所导致的高计算成本和标注成本问题。
• 克服传统客观度量（如PESQ和STOI）在真实ASR场景中与WER相关性弱的局限性。
• 开发一种能捕捉信号级质量度量无法检测到的、与ASR相关的失真，尤其是在多条件训练下的情况。
• 通过与下游ASR性能对齐的度量，实现基于深度学习的SEAs端到端优化。
• 为鲁棒ASR流水线中的SEA性能评估，提供一种可靠、快速且无需转录的WER替代方案。

提出的方法

• 从原始语音信号或手工提取的特征（如MFCC、FBANK或fMLLR）中提取低级表征（LLRs）。
• 使用预训练的基于神经网络的声学模型（AM）通过非线性变换将LLRs映射为高级表征（HLRs），特别提取状态后验概率（SPPs）。
• 使用公式 $ \text{AGE} = -\sum_{t} \sum_{s} p_{\text{clean}}(s|t) \log p_{\text{degraded}}(s|t) $ 计算干净语音与受损语音的SPPs之间的交叉熵，作为AGE得分。
• 利用声学模型的判别性知识，确保HLRs反映与ASR相关的声学信息。
• 在AGE计算过程中，使用在干净数据上训练并固定不变的声学模型，以保证一致性并避免数据泄露。
• 在多种条件下应用AGE：包括不同类型的噪声、信噪比（SNR）水平、语音增强算法（如OM-LSA、DNN）以及训练模式（多条件与仅干净条件）。

实验结果

研究问题

• RQ1 AGE是否在各种ASR条件下，与WER的相关性均高于传统失真度量（PESQ、STOI）以及声学置信度（熵）？
• RQ2 当语音增强算法被优化为非ASR目标（如STOI或PESQ）时，AGE是否在估计识别性能方面优于现有指标？
• RQ3 在不同噪声类型和SNR水平下，AGE表现如何，特别是在WER为0%或100%的极端条件下？
• RQ4 AGE能否作为深度学习型SEAs的可靠优化准则，替代传统的MMSE或基于PESQ的损失函数？
• RQ5 AGE在不同声学模型和语言模型下是否保持一致性能，表明其对后端变化的鲁棒性？

主要发现

• AGE在所有测试条件下与WER的相关性最高，多条件训练下相关系数为0.744，仅干净条件训练下使用DNN-based SEA时达到0.800。
• 在多条件训练中，AGE与WER的相关系数为0.743（未处理的噪声语音），优于STOI（0.628）、PESQ（0.554）和熵（0.553）。
• 在仅干净条件训练中，AGE与WER的相关系数为0.800，显著高于STOI（0.615）、PESQ（0.650）和熵（0.554）。
• AGE在不同噪声类型和SNR水平下，始终优于所有基线方法，与WER的单调关系最强。
• AGE能准确评估SEAs，即使这些算法未针对PESQ或STOI进行优化——例如OM-LSA在STOI上表现差，但在仅干净条件训练中WER优于DNN——此时PESQ和STOI均失效。
• 性能更优的SEAs对应更低的AGE分数（例如，在仅干净条件训练中DNN的AGE低于OM-LSA），显示出与WER的强负相关性，证实了其预测准确性。