[论文解读] Foreign English Accent Adjustment by Learning Phonetic Patterns

Fedor Kitashov, Elizaveta Svitanko+1 more|arXiv (Cornell University)|Jul 9, 2018

Speech Recognition and Synthesis参考文献 12被引用 9

一句话总结

本文提出了一种统计模型，能够从少量带口音的语音数据中自动学习音系规则，并利用这些规则从CMU发音词典中生成数百万个带口音的单词变体。通过在这些合成的带口音样本上训练序列到序列的RNN，该模型在识别非母语英语发音方面达到了59%的准确率，有效模拟了人工推导的音系规则，且无需对口音模式进行人工标注。

ABSTRACT

State-of-the-art automatic speech recognition (ASR) systems struggle with the lack of data for rare accents. For sufficiently large datasets, neural engines tend to outshine statistical models in most natural language processing problems. However, a speech accent remains a challenge for both approaches. Phonologists manually create general rules describing a speaker's accent, but their results remain underutilized. In this paper, we propose a model that automatically retrieves phonological generalizations from a small dataset. This method leverages the difference in pronunciation between a particular dialect and General American English (GAE) and creates new accented samples of words. The proposed model is able to learn all generalizations that previously were manually obtained by phonologists. We use this statistical method to generate a million phonological variations of words from the CMU Pronouncing Dictionary and train a sequence-to-sequence RNN to recognize accented words with 59% accuracy.

研究动机与目标

• 从有限的带口音语音数据中自动提取音系规则，而无需人工创建规则。
• 通过将学习到的语音模式应用于母语发音，生成大规模且多样的带口音英语单词数据集。
• 通过使用合成的带口音训练数据，提升非母语口音的自动语音识别（ASR）性能。
• 证明序列到序列RNN能够通过学习统计推导出的口音模式，有效纠正带口音的语音。

提出的方法

• 该模型采用统计方法，将带口音的音素转写与通用美式英语（GAE）参考值进行比较，识别出音素层面上的插入、删除和替换。
• 构建音素级统计表，追踪不同口音变体中替换、插入、删除及出现频率。
• 缩减词典将GMU数据集中的169个国际音标字符映射到CMU词典中的39个音素，以实现兼容性和可扩展性。
• 通过将学习到的音系规则应用于CMU词典条目，生成一百万条带口音的单词变体。
• 训练一个带有双向LSTM编码器和自回归解码器的序列到序列RNN，将带口音的转写转换为标准GAE形式。
• 模型在80万条合成带口音样本（主要受俄语影响）上进行训练，批量大小为4096，使用RMSprop优化器，训练100个周期。

实验结果

研究问题

• RQ1 统计模型能否从少量带口音语音样本中自动学习音系规则？
• RQ2 自动学习到的口音模式在多大程度上能生成多样且逼真的带口音单词变体？
• RQ3 在合成带口音数据上训练的序列到序列RNN能否在识别非母语发音方面实现高准确率？
• RQ4 与人工创建的音系规则相比，该模型在泛化能力和覆盖范围方面表现如何？

主要发现

• 当在简化版CMU 39音素表示上训练时，统计模型成功恢复了20个手工识别的音系规则中的13个。
• 当在包含169个字符的完整IPA GMU数据集上训练时，模型恢复了全部20个手工识别的规则，包括复杂的模式如腭化和卷舌化。
• 序列到序列RNN在将带口音的音素转写转换为标准GAE形式的测试中，准确率达到59.3%。
• 在第25个训练周期后出现过拟合现象，验证准确率趋于平稳，而训练准确率继续上升，表明合成数据过多可能引入噪声。
• 模型性能对数据简化敏感：CMU词典中语音细节的丢失降低了模型捕捉罕见或特定口音特征的能力。