[论文解读] Active Learning for Speech Recognition: the Power of Gradients

Jiaji Huang, Rewon Child+4 more|arXiv (Cornell University)|Dec 10, 2016

Machine Learning and Algorithms参考文献 8被引用 48

一句话总结

本文提出了一种新颖的主动学习方法——期望梯度长度（Expected Gradient Length, EGL），用于端到端自动语音识别，通过利用梯度幅值识别最具信息量的未标注样本。与随机采样相比，EGL可将词错误率（WER）降低11%，或将标注需求减少50%，且在性能上优于基于置信度的方法，因其捕捉到了与模型不确定性互补的信息。

ABSTRACT

In training speech recognition systems, labeling audio clips can be expensive, and not all data is equally valuable. Active learning aims to label only the most informative samples to reduce cost. For speech recognition, confidence scores and other likelihood-based active learning methods have been shown to be effective. Gradient-based active learning methods, however, are still not well-understood. This work investigates the Expected Gradient Length (EGL) approach in active learning for end-to-end speech recognition. We justify EGL from a variance reduction perspective, and observe that EGL's measure of informativeness picks novel samples uncorrelated with confidence scores. Experimentally, we show that EGL can reduce word errors by 11\%, or alternatively, reduce the number of samples to label by 50\%, when compared to random sampling.

研究动机与目标

• 为解决大规模语音识别数据集标注成本过高的问题，通过识别最具信息量的样本用于主动学习。
• 探究基于梯度的方法（如期望梯度长度，EGL）是否能在端到端自动语音识别中超越基于置信度分数的主动学习方法。
• 从模型参数估计中方差减少的角度，正式证明EGL的合理性。
• 在真实语音识别任务中实证评估EGL的性能，并与随机采样和基于置信度的基线方法进行比较。
• 探究EGL是否捕捉到了模型不确定性或置信度分数未反映的数据信息量特征。

提出的方法

• EGL计算在未标注语音样本的所有可能标签上，损失函数相对于模型参数的梯度范数的期望值。
• 通过对其前100个最可能的标签进行边缘化，以高效地近似该期望。
• 样本按EGL得分排序，并在批量主动学习设置中选择进行标注。
• 该方法基于渐近方差减少原理，即最小化估计器方差等价于最大化信息增益。
• 将该方法与随机采样、基于熵的不确定性以及预测的CTC损失（pCTC）作为基线进行比较。
• 通过迭代更新新标注查询的模型，直至收敛，并在保留的测试集上评估性能。

实验结果

研究问题

• RQ1 在端到端自动语音识别中，期望梯度长度（EGL）是否可作为比置信度分数更有效的主动学习准则？
• RQ2 EGL是否识别出与基于熵的不确定性度量或低置信度预测无关的信息量样本？
• RQ3 在自动语音识别系统中，EGL在多大程度上减少了达到特定词错误率（WER）所需的标注样本数量？
• RQ4 在词错误率降低和数据效率方面，EGL与随机采样和基于置信度的方法相比表现如何？
• RQ5 EGL识别出的具有信息量的样本类型是什么，这些样本是其他方法所遗漏的，其对模型泛化能力的潜在影响如何？

主要发现

• 当仅查询20%的未标注数据时，EGL相比随机采样将词错误率（WER）降低了11.09%。
• 在20%的查询率下，EGL实现的WER与随机采样在40%查询率下的性能相当，表明标注成本降低了50%。
• 在所有查询比例下，EGL在降低字符错误率（CER）和词错误率（WER）方面均优于基于熵和pCTC的方法，尤其在数据预算较低时增益最大。
• 排序相关性分析显示，EGL与基于熵的方法无显著相关性，表明其捕捉到了信息量的独立特征。
• EGL识别为高度信息量但基于熵方法未识别的样本包括带有静音或背景噪声的短语音，提示其可能对声学失真或罕见模式更敏感。
• 结果表明，EGL为端到端自动语音识别中的主动学习提供了互补且更优的信息信号，尤其在低数据场景下表现突出。