[论文解读] An evaluation of word-level confidence estimation for end-to-end automatic speech recognition

Dan Oneaţă, Alexandru Caranica+2 more|arXiv (Cornell University)|Jan 14, 2021

Speech Recognition and Synthesis参考文献 45被引用 4

一句话总结

本文通过将不确定性估计方法适配至结构化、序列化输出，评估了端到端自动语音识别（ASR）中的词级置信度估计。研究发现，对logits进行温度缩放，随后计算负熵并进行token的求和池化，可作为词级置信度评分的强基线方法，在LibriSpeech、TED-LIUM和CommonVoice数据集上显著提升了AUPR和AUROC。

ABSTRACT

Quantifying the confidence (or conversely the uncertainty) of a prediction is a highly desirable trait of an automatic system, as it improves the robustness and usefulness in downstream tasks. In this paper we investigate confidence estimation for end-to-end automatic speech recognition (ASR). Previous work has addressed confidence measures for lattice-based ASR, while current machine learning research mostly focuses on confidence measures for unstructured deep learning. However, as the ASR systems are increasingly being built upon deep end-to-end methods, there is little work that tries to develop confidence measures in this context. We fill this gap by providing an extensive benchmark of popular confidence methods on four well-known speech datasets. There are two challenges we overcome in adapting existing methods: working on structured data (sequences) and obtaining confidences at a coarser level than the predictions (words instead of tokens). Our results suggest that a strong baseline can be obtained by scaling the logits by a learnt temperature, followed by estimating the confidence as the negative entropy of the predictive distribution and, finally, sum pooling to aggregate at word level.

研究动机与目标

• 为解决当前端到端ASR系统中缺乏针对其特性的置信度估计方法的问题，此类系统在现代语音识别中日益占据主导地位。
• 将原本为非结构化深度学习或基于lattice的系统设计的现有不确定性估计技术，适配至端到端ASR中的序列级、词级置信度评分。
• 克服两大关键挑战：建模结构化的序列输出，以及将token级不确定性聚合至更粗粒度的词级预测。
• 在多个标准语音识别数据集上对一系列置信度估计方法进行基准测试，以识别最有效的方法。
• 为未来在端到端ASR置信度估计领域的研究，提供一个可复现、简单且有效的基线，仅依赖于现成的token后验概率。

提出的方法

• 对预训练的端到端ASR模型的最终logits应用温度缩放，以改善token级概率分布的校准性。
• 使用预测token分布的负熵作为不确定性代理，计算置信度分数。
• 通过求和池化将token级置信度分数聚合至词级置信度，从而在转录任务中实现用户相关的错误检测。
• 评估额外的置信度估计技术：蒙特卡洛dropout（执行64次前向传播）和使用独立训练模型的模型集成。
• 在所有实验中，使用相同的预训练ASR模型进行推理和置信度评分，以确保一致性和可复现性。
• 在每个数据集的开发集上优化温度参数，并组合改进技术（如温度缩放 + dropout），以评估其协同效应。

Fig. 2 : Fraction of errors as a function of the word length. The fraction of errors is computed as the number of erroneously transcribed words divided by the total number of words, while the word length is measured as number of tokens.

实验结果

研究问题

• RQ1 在端到端ASR中，哪种置信度估计方法——对数概率、负熵或蒙特卡洛dropout——在词级表现最佳？
• RQ2 对logits进行温度缩放在多大程度上提升了端到端ASR系统中置信度分数的可靠性？
• RQ3 结合多种置信度估计技术（如温度缩放 + dropout）是否能超越单一方法的性能？
• RQ4 对token级置信度分数进行求和池化，在生成有意义的词级不确定性估计方面有多有效？
• RQ5 预训练ASR模型的预测性能是否与其生成可靠置信度分数的能力相关？

主要发现

• 对logits进行温度缩放在所有指标上均显著提升了置信度估计性能，AUPR和AUROC的提升最大。
• 温度缩放与负熵特征结合，并通过求和池化聚合，取得了最佳整体性能，在TED-LIUM测试集上达到85.18% AUROC和41.15% AUPR。
• 使用64次运行的蒙特卡洛dropout在基线基础上提升了性能，当与温度缩放和集成结合时，AUPR从28.58%提升至33.00%。
• 通过使用多个独立训练的模型进行集成，进一步提升了置信度评分性能，尤其在与温度缩放结合时，AUPR达到34.57%，AUROC达到81.64%。
• 预训练模型的预测性能与其中置信度评分性能呈正相关，表明高精度模型可能天然具备更优的不确定性估计能力。
• 负熵特征在温度缩放下表现出更大的改进幅度，而对数概率特征则从dropout中获益更多，表明不同特征对方法增强的敏感性存在差异。

Fig. 3 : AUPR $e$ performance as a function of the number of dropout runs on the TED test set. The horizontal red line indicates the performance of the model without dropout. The model uses neg-entropy features, sum aggregation and temperature scaling.