[论文解读] Grapheme-to-Phoneme Transformer Model for Transfer Learning Dialects

Eric Engelhart, Mahsa Elyasi+1 more|arXiv (Cornell University)|Apr 8, 2021

Natural Language Processing Techniques参考文献 9被引用 5

一句话总结

本文提出一种基于Transformer的图素转音素（G2P）模型的迁移学习方法，以提升低资源英语方言（如印度英语和英式英语）的发音准确性。通过在大型美式英语词典（CMUDict）上预训练的模型进行微调，该方法将英式英语的音素错误率（PER）从从零开始训练的26.877%降低至2.469%，并在10,000词的印度英语词典上实现了0.875%的PER，表明其在小样本方言数据上具有出色的泛化能力。

ABSTRACT

Grapheme-to-Phoneme (G2P) models convert words to their phonetic pronunciations. Classic G2P methods include rule-based systems and pronunciation dictionaries, while modern G2P systems incorporate learning, such as, LSTM and Transformer-based attention models. Usually, dictionary-based methods require significant manual effort to build, and have limited adaptivity on unseen words. And transformer-based models require significant training data, and do not generalize well, especially for dialects with limited data. We propose a novel use of transformer-based attention model that can adapt to unseen dialects of English language, while using a small dictionary. We show that our method has potential applications for accent transfer for text-to-speech, and for building robust G2P models for dialects with limited pronunciation dictionary size. We experiment with two English dialects: Indian and British. A model trained from scratch using 1000 words from British English dictionary, with 14211 words held out, leads to phoneme error rate (PER) of 26.877%, on a test set generated using the full dictionary. The same model pretrained on CMUDict American English dictionary, and fine-tuned on the same dataset leads to PER of 2.469% on the test set.

研究动机与目标

• 解决因发音词典规模有限且训练数据不足，导致英语方言低资源G2P建模的挑战。
• 提升神经网络G2P模型对未见词、拼写错误及方言口语中常见的长词或虚构词汇的泛化能力。
• 探究是否可从大规模高资源方言（美式英语）迁移学习，显著提升小规模低资源方言（英式与印度英语）的性能。
• 评估不同词典规模对特定方言G2P系统性能与训练效率的影响。

提出的方法

• 在目标方言小词典（如1,000词的英式英语）上微调在CMUDict（美式英语）上预训练的Transformer模型。
• 采用标准Transformer架构，包含3个编码器和3个解码器层，隐藏层维度256，注意力头数8，前馈网络宽度512，使用Adam优化器和标签平滑训练。
• 通过将目标方言词典中的字素序列与音标转写配对生成训练数据，并利用句子级上下文提升泛化能力。
• 通过使用CMUDict的预训练检查点初始化模型，并在目标方言数据上进行微调，同时保留注意力与前馈网络层结构。
• 通过从完整词典中分离出的测试集评估PER性能，比较从零开始训练与微调模型的差异。
• 在极端情况（如虚构词汇如《Jabberwocky》、拼写错误及长词）下测试模型鲁棒性，以评估其在训练词汇外的泛化能力。

实验结果

研究问题

• RQ1 从大规模高资源方言（美式英语）迁移学习是否能显著提升低资源方言（如英式与印度英语）的G2P性能？
• RQ2 目标方言发音词典的规模如何影响从零开始训练与微调G2P模型的性能表现？
• RQ3 微调后的Transformer G2P模型在多大程度上能泛化至未登录词、拼写错误及虚构词汇（如《Jabberwocky》中的词汇）？
• RQ4 在小规模目标方言数据集上微调是否相比从零开始训练能带来更高的计算效率与更低的PER？

主要发现

• 在CMUDict上预训练的模型经微调后，英式英语的音素错误率（PER）从从零开始训练的26.877%降低至1,000词测试集上的2.469%。
• 在10,000词的印度英语词典上，微调模型实现了0.875%的PER，优于从零开始训练的模型（PER为10.017%），尽管训练步数更少。
• 在印度英语上，微调模型在10,000词词典下达到2.039%的PER，略优于从零开始训练模型的2.166%，表明其训练效率更高。
• 模型在极端情况下的泛化能力表现优异：对《Jabberwocky》中的虚构词汇，能生成合理发音，而从零开始训练的模型则无法正确再现如“jubjub”等重复音素。
• 英式英语微调模型对“bandersnatch”的音标输出（b”ænd@zn”æts）比从零开始训练模型（@r”eIs@nstss）更连贯，尽管两者均偏离真实发音。
• 迁移学习带来的性能增益在小词典上最为显著，随着词典规模增大，增益逐渐减弱，表明迁移学习在低数据场景下价值最高。