[论文解读] Hard Sample Mining for the Improved Retraining of Automatic Speech Recognition

Jiabin Xue, Jiqing Han+3 more|arXiv (Cornell University)|Apr 17, 2019

Music and Audio Processing参考文献 23被引用 6

一句话总结

本文提出了一种基于弱监督深度多实例学习（DMIL）的困难样本挖掘框架，用于改进端到端自动语音识别（ASR）系统的微调。通过利用少量人工标注的句子，该方法借助基于注意力机制和判别性DMIL模型，在无标签转录文本中识别出易错词汇，实现了Switchboard测试集上17.2%的词错误率（WER），显著优于使用简单样本或标准数据进行微调的结果。

ABSTRACT

It is an effective way that improves the performance of the existing Automatic Speech Recognition (ASR) systems by retraining with more and more new training data in the target domain. Recently, Deep Neural Network (DNN) has become a successful model in the ASR field. In the training process of the DNN based methods, a back propagation of error between the transcription and the corresponding annotated text is used to update and optimize the parameters. Thus, the parameters are more influenced by the training samples with a big propagation error than the samples with a small one. In this paper, we define the samples with significant error as the hard samples and try to improve the performance of the ASR system by adding many of them. Unfortunately, the hard samples are sparse in the training data of the target domain, and manually label them is expensive. Therefore, we propose a hard samples mining method based on an enhanced deep multiple instance learning, which can find the hard samples from unlabeled training data by using a small subset of the dataset with manual labeling in the target domain. We applied our method to an End2End ASR task and obtained the best performance.

研究动机与目标

• 通过识别并利用高识别错误的转录文本（即困难样本）来提升ASR微调性能，而无需进行全面的人工标注。
• 解决目标领域数据中困难样本稀疏的问题，这些样本人工标注成本高昂。
• 开发一种弱监督学习方法，仅通过句子级标签推断词级错误位置。
• 通过引入注意力机制、稀疏性、门控机制和判别性训练，增强深度多实例学习（DMIL）以实现更精确的错误定位。
• 在真实ASR基准上验证该方法，并证明其在性能上优于使用简单样本或随机样本的标准微调方法。

提出的方法

• 利用目标领域中一小部分人工标注的句子，训练一个弱监督模型，从无标签数据中识别困难样本。
• 应用基于注意力机制的深度多实例学习（DMIL），利用句子级标签作为监督信号，检测句子中的易错词汇。
• 提出三种增强型DMIL变体：稀疏注意力（Sparse-Attention）、门控稀疏注意力（Gated Sparse-Attention）和判别性DMIL（Discriminative DMIL），以提升注意力聚焦能力和模型判别性能。
• 采用判别性训练策略（DT），通过基于预测不确定性的损失重加权，优化模型以最小化困难样本上的错误。
• 使用TextCNN作为句子级错误检测的基础分类器，并通过注意力和门控机制将其扩展至词级分类。
• 将挖掘出的困难样本用于微调端到端ASR系统，在目标领域测试集上显著提升了泛化能力。

实验结果

研究问题

• RQ1 能否仅用少量人工标注的句子，有效识别无标签目标领域ASR数据中的困难样本？
• RQ2 如何仅通过句子级标签实现词级错误定位，而无需词级标注？
• RQ3 通过引入注意力机制、稀疏性和门控机制增强DMIL，是否能提升困难样本检测的准确性？
• RQ4 判别性训练是否能进一步提升困难样本挖掘模型的性能？
• RQ5 使用挖掘出的困难样本对ASR系统进行微调，是否能在目标领域基准上带来可测量的WER性能提升？

主要发现

• 当使用800小时困难样本进行微调时，该方法在Switchboard测试集上实现了17.2%的词错误率（WER），优于使用简单样本微调（20.3%）或标准数据微调（22.31%）的结果。
• 表现最佳的模型GSADT_3_1（门控稀疏注意力结合判别性训练）在错误检测中实现了83.0%的句子级准确率，较基线模型提升0.2%。
• 判别性训练（DT）显著提升了词级错误检测的精确率和F1分数，尤其在结合门控机制时效果更明显。
• 门控稀疏注意力模型在识别关键错误词汇方面优于标准注意力和稀疏注意力模型，表现为更高的F1和召回率。
• 与使用简单样本微调相比，使用困难样本微调使WER相对降低了5.1%，证明了困难样本挖掘的有效性。
• 该方法在极少人工标注的前提下，成功定位了转录文本中的易错词汇，证明其在低资源领域自适应ASR中的有效性。