[论文解读] Cantonese Automatic Speech Recognition Using Transfer Learning from Mandarin

Bryan Li, Xinyue Wang+1 more|arXiv (Cornell University)|Nov 21, 2019

Speech Recognition and Synthesis参考文献 9被引用 5

一句话总结

本文提出一种迁移学习方法，通过使用预训练的普通话模型权重初始化时延神经网络（TDNN）模型，构建低资源粤语自动语音识别系统。在有限的粤语数据集上微调迁移后的模型，该方法实现了更快的收敛速度，并在BABEL粤语数据集上将字符错误率（CER）略微降低至34.6%，达到新的最先进水平。

ABSTRACT

We propose a system to develop a basic automatic speech recognizer(ASR) for Cantonese, a low-resource language, through transfer learning of Mandarin, a high-resource language. We take a time-delayed neural network trained on Mandarin, and perform weight transfer of several layers to a newly initialized model for Cantonese. We experiment with the number of layers transferred, their learning rates, and pretraining i-vectors. Key findings are that this approach allows for quicker training time with less data. We find that for every epoch, log-probability is smaller for transfer learning models compared to a Cantonese-only model. The transfer learning models show slight improvement in CER.

研究动机与目标

• 解决为粤语等低资源语言开发高效自动语音识别（ASR）系统的挑战。
• 利用高质量普通话ASR资源的丰富性，尽管数据有限，仍提升粤语ASR性能。
• 研究使用时延神经网络（TDNN）从普通话到粤语的迁移学习有效性。
• 优化超参数，如迁移层数量、学习率以及预训练i-向量，以提升模型性能。
• 通过明智的模型初始化与微调，在BABEL粤语数据集上实现新的最先进CER水平。

提出的方法

• 在AISHELL2数据集中1000小时的清晰普通话语音上训练TDNN模型。
• 将预训练普通话模型前k层学习到的权重，迁移至为粤语新初始化的TDNN模型中。
• 在IARPA Babel粤语数据集提供的215小时口语粤语语音上，微调迁移后的模型。
• 通过尝试不同的k值（迁移层数量）和学习率（lr = 0, 0.25, 1.0）来优化性能。
• 比较迁移学习模型与从零开始在粤语数据上训练的基线模型之间的训练动态与损失曲线。
• 使用字符错误率（CER）和词错误率（WER）评估模型性能，其中CER为主要指标。

实验结果

研究问题

• RQ1 从高资源语言如普通话进行迁移学习，是否能提升低资源语言如粤语的ASR性能？
• RQ2 迁移层数量（k）如何影响最终CER与训练动态？
• RQ3 在粤语数据上微调迁移模型的最优学习率是什么？
• RQ4 在普通话上预训练i-向量并迁移至粤语，是否能提升识别性能？
• RQ5 迁移学习是否能在保持或提升模型准确率的同时，减少训练时间？

主要发现

• 使用预训练普通话TDNN的权重进行初始化，显著减少了每轮迭代的训练时间，尤其在冻结早期层时效果更明显。
• 与从零开始训练的基线模型相比，迁移学习模型的对数概率（交叉熵损失）始终更低，表明收敛速度更快。
• 表现最佳的模型在k=4层迁移且学习率为1.0时，CER达到34.6%，相比基线有轻微提升。
• 在迁移层上学习率为0（lr=0）的模型表现更差，表明即使语言存在差异，仍需一定程度的微调。
• 在普通话上预训练i-向量并迁移至粤语并未提升性能，实验结果不推荐该做法。
• 结果证实，TDNN的早期层学习更具通用性、与语言无关的特征，因此适合迁移；而后期层则更受益于语言特定的适应。