[论文解读] A comparable study of modeling units for end-to-end Mandarin speech recognition

Wei Zou, Dongwei Jiang+2 more|arXiv (Cornell University)|May 10, 2018

Speech Recognition and Synthesis参考文献 24被引用 5

一句话总结

本研究比较了在端到端普通话语音识别中使用上下文相关音素、带调音节和汉字作为建模单元的效果，采用CTC和基于注意力的编码器-解码器模型。结果表明，基于字符的注意力模型表现最佳（在DidiCallcenter数据集上CER为5.68%，在DidiReading数据集上为4.89%），优于CTC模型和基于音节的模型，表明汉字是普通话语音识别中极为合适的建模单位。

ABSTRACT

End-To-End speech recognition have become increasingly popular in mandarin speech recognition and achieved delightful performance. Mandarin is a tonal language which is different from English and requires special treatment for the acoustic modeling units. There have been several different kinds of modeling units for mandarin such as phoneme, syllable and Chinese character. In this work, we explore two major end-to-end models: connectionist temporal classification (CTC) model and attention based encoder-decoder model for mandarin speech recognition. We compare the performance of three different scaled modeling units: context dependent phoneme(CDP), syllable with tone and Chinese character. We find that all types of modeling units can achieve approximate character error rate (CER) in CTC model and the performance of Chinese character attention model is better than syllable attention model. Furthermore, we find that Chinese character is a reasonable unit for mandarin speech recognition. On DidiCallcenter task, Chinese character attention model achieves a CER of 5.68% and CTC model gets a CER of 7.29%, on the other DidiReading task, CER are 4.89% and 5.79%, respectively. Moreover, attention model achieves a better performance than CTC model on both datasets.

研究动机与目标

• 评估不同建模单元（上下文相关音素、带调音节和汉字）在端到端普通话语音识别中的有效性。
• 比较两种主流端到端架构——连接时序分类（CTC）和基于注意力的编码器-解码器模型——的性能。
• 确定在低资源和特定领域设置下，建模单元与模型架构的最佳组合。
• 评估外部语言模型和模型规模对识别准确率的影响。

提出的方法

• 使用相同的数据和训练流程，仅改变建模单元（CDP、音节、字符），训练CTC和基于注意力的编码器-解码器模型。
• 注意力模型采用双向LSTM作为编码器，单向LSTM作为解码器，并使用注意力机制进行对齐。
• 训练过程中应用调度采样和unigram标签平滑，使用Adam优化器并进行梯度裁剪。
• 采用从左到右的束搜索解码，并引入外部语言模型以提升性能。
• 在CTC中使用空白标记（blank token）处理帧到标签的对齐，无需强制对齐。
• 使用字符错误率（CER）在两个普通话语音识别数据集（DidiCallcenter和DidiReading）上比较模型性能。

实验结果

研究问题

• RQ1 在基于CTC的普通话语音识别中，哪种建模单元——上下文相关音素、带调音节或汉字——能获得最低的字符错误率（CER）？
• RQ2 在使用不同建模单元时，基于注意力的编码器-解码器模型与CTC模型在普通话语音识别中的性能如何比较？
• RQ3 使用外部语言模型是否能提升识别性能？这种影响是否因数据集或建模单元而异？
• RQ4 在控制模型规模的情况下，CTC模型与注意力模型之间是否存在显著的性能差距？
• RQ5 在无需单独语言模型或词典的情况下，汉字能否作为端到端普通话语音识别中可行且有效的建模单元？

主要发现

• 在DidiCallcenter数据集上，基于字符的注意力模型取得了5.68%的CER，显著优于CTC模型（7.29%）和基于音节的模型。
• 在DidiReading数据集上，基于字符的注意力模型取得了4.89%的CER，相比基于音节的CTC模型（5.62%）有所提升。
• 所有建模单元在CTC模型中表现相近，其中基于音节的CTC模型表现最佳（DidiCallcenter上为7.31%），且参数量更少。
• 尽管参数量显著更少（注意力模型为12.54M，CTC模型为86.05M），基于注意力的模型在两个数据集上均优于CTC模型。
• 外部语言模型在两个数据集上均提升了性能，尤其在领域特定的DidiReading任务中效果更明显。
• 基于字符的注意力模型性能优越，归因于RNN解码器的隐式语言建模能力，以及汉字作为普通话建模单位的适配性。