[论文解读] Improved End-to-End Dysarthric Speech Recognition via Meta-learning Based Model Re-initialization

Disong Wang, Jianwei Yu+4 more|arXiv (Cornell University)|Nov 3, 2020

Speech Recognition and Synthesis参考文献 29被引用 6

一句话总结

本文提出了一种基于元学习的模型重新初始化方法，通过在少量数据下将预训练的基础模型适配到构音障碍语音，以提升端到端构音障碍语音识别性能。通过扩展MAML和Reptile算法，模拟在多样化构音障碍说话人上的快速适应，重新初始化的模型在UASpeech数据集上相比基础模型将词错误率相对降低了54.2%，并达到了与最先进混合DNN-HMM系统相当的性能。

ABSTRACT

Dysarthric speech recognition is a challenging task as dysarthric data is limited and its acoustics deviate significantly from normal speech. Model-based speaker adaptation is a promising method by using the limited dysarthric speech to fine-tune a base model that has been pre-trained from large amounts of normal speech to obtain speaker-dependent models. However, statistic distribution mismatches between the normal and dysarthric speech data limit the adaptation performance of the base model. To address this problem, we propose to re-initialize the base model via meta-learning to obtain a better model initialization. Specifically, we focus on end-to-end models and extend the model-agnostic meta learning (MAML) and Reptile algorithms to meta update the base model by repeatedly simulating adaptation to different dysarthric speakers. As a result, the re-initialized model acquires dysarthric speech knowledge and learns how to perform fast adaptation to unseen dysarthric speakers with improved performance. Experimental results on UASpeech dataset show that the best model with proposed methods achieves 54.2% and 7.6% relative word error rate reduction compared with the base model without finetuning and the model directly fine-tuned from the base model, respectively, and it is comparable with the state-of-the-art hybrid DNN-HMM model.

研究动机与目标

• 解决构音障碍语音数据有限以及正常语音与构音障碍语音之间分布偏移的问题。
• 通过少样本适应提升构音障碍说话人的端到端语音识别性能。
• 开发一种元学习框架，对预训练的基础模型进行重新初始化，以更好地泛化到未见的构音障碍说话人。
• 在构音障碍语音识别任务中，超越标准微调方法，并与最先进混合DNN-HMM系统性能相当。

提出的方法

• 扩展模型无关元学习（MAML）和Reptile算法，对基础模型在模拟适应多个构音障碍说话人的过程中进行元训练。
• 采用少样本学习设置，其中每次元更新模拟在单个构音障碍说话人数据上的微调。
• 通过迭代元更新调整基础模型的初始化，使其能够仅用少量数据快速适应新的构音障碍说话人。
• 利用预训练的端到端ASR模型作为基础模型，通过元优化的初始化进行微调，而非标准微调。
• 将元学习得到的初始化应用于序列到序列模型，实现端到端自动语音识别。
• 采用元训练目标，最小化在未见构音障碍数据上经过一次或几次适应步骤后的验证损失。

实验结果

研究问题

• RQ1 与标准微调相比，基于元学习的模型重新初始化是否能提升端到端构音障碍语音识别性能？
• RQ2 元学习得到的初始化是否能实现更快、更有效的未见构音障碍说话人适应，且数据量有限？
• RQ3 所提方法在性能上与无微调的强基线模型以及最先进混合DNN-HMM系统相比如何？
• RQ4 元学习在多大程度上缓解了正常语音与构音障碍语音数据之间的分布偏移问题？

主要发现

• 所提方法在UASpeech数据集上相比未微调的基础模型，实现了54.2%的相对词错误率降低。
• 与直接从基础模型微调得到的模型相比，该模型实现了7.6%的相对词错误率降低。
• 重新初始化的模型在相同基准测试中达到了与最先进混合DNN-HMM系统相当的性能。
• 由于具备更强的快速适应能力，重新初始化的模型在未见构音障碍说话人上泛化能力更优。
• 该方法有效减轻了正常语音与构音障碍语音数据之间分布偏移的影响。