[论文解读] Multi-Dialect Speech Recognition With A Single Sequence-To-Sequence Model

Bo Li, Tara N. Sainath+7 more|arXiv (Cornell University)|Dec 5, 2017

Speech Recognition and Synthesis参考文献 21被引用 10

一句话总结

该论文提出一种单序列到序列（LAS）模型，用于多方言英语语音识别，通过在编码器和解码器层中注入1-热编码的方言向量，并在转录输出后附加方言标签。该方法实现了音素预测与方言分类的联合学习，在七种英语方言中实现了3.1%–16.5%的相对WER降低，优于单独训练的模型。

ABSTRACT

Sequence-to-sequence models provide a simple and elegant solution for building speech recognition systems by folding separate components of a typical system, namely acoustic (AM), pronunciation (PM) and language (LM) models into a single neural network. In this work, we look at one such sequence-to-sequence model, namely listen, attend and spell (LAS), and explore the possibility of training a single model to serve different English dialects, which simplifies the process of training multi-dialect systems without the need for separate AM, PM and LMs for each dialect. We show that simply pooling the data from all dialects into one LAS model falls behind the performance of a model fine-tuned on each dialect. We then look at incorporating dialect-specific information into the model, both by modifying the training targets by inserting the dialect symbol at the end of the original grapheme sequence and also feeding a 1-hot representation of the dialect information into all layers of the model. Experimental results on seven English dialects show that our proposed system is effective in modeling dialect variations within a single LAS model, outperforming a LAS model trained individually on each of the seven dialects by 3.1 ~ 16.5% relative.

研究动机与目标

• 为解决在不为每种方言单独训练声学、发音和语言模型的情况下，训练单一端到端自动语音识别（ASR）模型以支持多种英语方言的挑战。
• 探究显式方言信息是否能够弥合多方言模型与方言专用模型之间的性能差距。
• 通过方言之间的共享参数学习，提升识别准确率，特别是低资源方言的识别性能。
• 评估将1-热编码方言向量注入编码器和解码器层，与使用学习嵌入的聚类自适应训练（CAT）相比的有效性。

提出的方法

• 将1-热编码的方言标识符作为输入向量注入LAS编码器和解码器的每一层，以建模方言特定的声学和语言偏差。
• 通过在每个真实转录序列的末尾附加方言名称作为后缀来修改训练目标，从而实现音素和方言身份的联合预测。
• 使用注意力机制对齐输入语谱图与输出字符序列，并在方言感知监督下进行端到端训练。
• 使用词错误率（WER）在七种英语方言（美式、印地、英式、南非、澳式、尼日利亚、肯尼亚）上评估性能。
• 比较两种注入策略：直接输入1-热向量与使用学习嵌入的聚类自适应训练（CAT）以提升参数共享。
• 将方言向量注入与联合方言识别相结合，评估其对模型性能的协同效应。

实验结果

研究问题

• RQ1 能否通过在多个英语方言的合并数据上训练单一LAS模型，使其在所有七种方言上均优于为每种方言单独训练的模型？
• RQ2 与基线合并模型相比，将1-热方言向量注入编码器和解码器层是否能提升多方言ASR性能？
• RQ3 与直接输入1-热向量相比，使用方言向量作为CAT中的聚类系数在性能上有多高效？
• RQ4 模型是否能通过显式方言监督学习方言特定的词典（例如，“color”与“colour”）？
• RQ5 方言向量的引入是否能提升泛化能力，特别是在低资源方言上？

主要发现

• 所提出的多方言LAS模型在所有层中注入1-热方言向量（S7）在七种方言上均优于单独训练的模型，实现了3.1%–16.5%的相对WER降低。
• 将方言向量注入解码器层的模型（S6）成功学习了方言特定的词典，例如仅在英式英语输入时预测“colour”，在美式英语输入时则切换为“color”。
• 将方言向量注入编码器（S5）的性能优于合并基线模型（S1），但不如同时注入编码器和解码器（S7）的效果显著。
• 使用学习嵌入的聚类自适应训练（CAT）（S8(emb)）在部分方言中表现优于1-热注入，尽管参数量显著增加（额外300万个参数）。
• 将方言向量注入与联合方言识别结合（S9）并未提升性能，因为模型已能以接近完美的准确率预测方言（错误率<0.001%）。
• 由于在训练期间所有方言之间隐式共享参数，该模型显著提升了低资源方言的识别质量。