[论文解读] Improving End-To-End Modeling for Mispronunciation Detection with Effective Augmentation Mechanisms

Tien-Hong Lo, Yao‐Ting Sung+1 more|arXiv (Cornell University)|Oct 17, 2021

Speech Recognition and Synthesis参考文献 33被引用 5

一句话总结

本文提出了两种数据增强策略——输入增强和标签增强，通过利用预训练声学模型和参考转录本中的音素和音系知识，提升端到端（E2E）非标准发音检测（MD）模型的性能。在L2-ARCTIC数据集上的实验表明，所提出的E2E模型优于当前最先进的E2E MD模型以及DNN-HMM基线模型，即使在标注的L2语音数据有限的情况下，仍表现出更高的鲁棒性和准确性。

ABSTRACT

Recently, end-to-end (E2E) models, which allow to take spectral vector sequences of L2 (second-language) learners' utterances as input and produce the corresponding phone-level sequences as output, have attracted much research attention in developing mispronunciation detection (MD) systems. However, due to the lack of sufficient labeled speech data of L2 speakers for model estimation, E2E MD models are prone to overfitting in relation to conventional ones that are built on DNN-HMM acoustic models. To alleviate this critical issue, we in this paper propose two modeling strategies to enhance the discrimination capability of E2E MD models, each of which can implicitly leverage the phonetic and phonological traits encoded in a pretrained acoustic model and contained within reference transcripts of the training data, respectively. The first one is input augmentation, which aims to distill knowledge about phonetic discrimination from a DNN-HMM acoustic model. The second one is label augmentation, which manages to capture more phonological patterns from the transcripts of training data. A series of empirical experiments conducted on the L2-ARCTIC English dataset seem to confirm the efficacy of our E2E MD model when compared to some top-of-the-line E2E MD models and a classic pronunciation-scoring based method built on a DNN-HMM acoustic model.

研究动机与目标

• 为解决因标注的L2语音数据不足而导致端到端（E2E）非标准发音检测（MD）模型过拟合的问题。
• 通过隐式利用现有模型和转录本中的音素与音系模式，提升E2E MD模型的判别能力。
• 开发有效的数据增强技术，提升模型泛化能力，且无需额外标注数据。
• 在标准基准数据集（L2-ARCTIC英语）上验证所提出增强策略的有效性。

提出的方法

• 输入增强通过从预训练的DNN-HMM声学模型中蒸馏音素判别知识，利用学习到的扰动对输入谱序列进行变换。
• 标签增强通过生成反映参考转录本中音系模式的合成音素级标签，提升训练效果。
• E2E模型使用增强后的输入和标签数据进行端到端训练，提升对发音变异的鲁棒性。
• 该方法无需微调预训练声学模型，保持高效性并兼容现有E2E框架。
• 增强仅在训练阶段应用，推理过程或模型架构均无修改。
• 该方法隐式地将DNN-HMM模型和转录本结构中的知识迁移至E2E MD系统。

实验结果

研究问题

• RQ1 能否通过DNN-HMM声学模型导出的输入级数据增强提升E2E MD模型的音素判别能力？
• RQ2 能否基于参考转录本的标签级数据增强提升模型对L2语音中音系模式的捕捉能力？
• RQ3 结合两种增强策略是否能带来优于基线E2E或基于DNN-HMM的MD系统的性能？
• RQ4 在有限L2语音数据上，所提出方法在泛化能力和鲁棒性方面表现如何？

主要发现

• 在L2-ARCTIC英语数据集上，结合输入和标签增强的E2E MD模型性能优于当前最先进的E2E MD模型。
• 该模型优于经典的基于DNN-HMM的发音评分方法，证明了端到端学习结合有效增强的优势。
• 仅使用输入增强即可通过利用DNN-HMM模型中的音素知识提升模型判别能力。
• 标签增强提升了模型在L2语音中音系变异下的泛化能力。
• 两种增强策略的结合带来最佳整体性能，证实了其互补性。