[论文解读] Multi-Encoder-Decoder Transformer for Code-Switching Speech Recognition

Xinyuan Zhou, Emre Yılmaz+3 more|arXiv (Cornell University)|Jun 18, 2020

Speech Recognition and Synthesis参考文献 35被引用 4

一句话总结

该论文提出了一种多编码器-解码器（MED）Transformer架构，采用两个对称的、语言特定的编码器以及解码器中对应的多头注意力模块，以提升代码切换语音识别性能。该模型在大规模单语语料上进行预训练，并在有限的代码切换数据上使用CTC和KL散度损失进行微调，分别在普通话-和英语-矩阵代码切换评估中实现了10.2%和10.8%的相对错误率降低。

ABSTRACT

Code-switching (CS) occurs when a speaker alternates words of two or more languages within a single sentence or across sentences. Automatic speech recognition (ASR) of CS speech has to deal with two or more languages at the same time. In this study, we propose a Transformer-based architecture with two symmetric language-specific encoders to capture the individual language attributes, that improve the acoustic representation of each language. These representations are combined using a language-specific multi-head attention mechanism in the decoder module. Each encoder and its corresponding attention module in the decoder are pre-trained using a large monolingual corpus aiming to alleviate the impact of limited CS training data. We call such a network a multi-encoder-decoder (MED) architecture. Experiments on the SEAME corpus show that the proposed MED architecture achieves 10.2% and 10.8% relative error rate reduction on the CS evaluation sets with Mandarin and English as the matrix language respectively.

研究动机与目标

• 为解决因训练数据有限而导致的低资源代码切换语音识别挑战。
• 通过分别建模语言特定的声学和语言特征，提升代码切换语音中的语言区分能力。
• 利用大规模单语语料进行预训练，以初始化语言特定组件，缓解数据稀缺问题。
• 通过共享解码器实现统一解码，同时通过双编码器和注意力模块保持语言特定的表征学习。

提出的方法

• MED-Transformer采用两个对称的、语言特定的编码器，以学习普通话和英语的独立声学表征。
• 每个编码器在大规模单语语音语料上进行预训练，以改善初始化和表征质量。
• 解码器使用两个语言特定的多头注意力（MHA）模块，分别关注对应编码器的输出。
• 完整模型在代码切换数据上使用连接时序分类（CTC）和Kullback-Leibler散度损失进行微调。
• 该架构实现了声学与语言信息的联合建模，同时在表征学习中保持了语言特定的不变性。
• 编码器和解码器均使用缩放点积注意力，多头注意力支持多子空间注意力学习。

Figure 1: Model architecture of the proposed multi-encoder-decoder Transformer.

实验结果

研究问题

• RQ1 与单编码器基线相比，采用语言特定预训练的双编码器架构是否能提升代码切换语音识别性能？
• RQ2 在解码器中使用语言特定的多头注意力是否能增强对混合语言的区分能力？
• RQ3 在单语数据上进行预训练在多大程度上能缓解代码切换语音识别中的数据稀缺问题？
• RQ4 各独立编码器对单语和代码切换输入的响应如何？这是否反映了有效的语言区分？

主要发现

• 与基线相比，MED-Transformer在普通话矩阵评估集（eval man）上实现了10.2%的相对错误率降低。
• 在英语矩阵评估集（eval sge）上观察到10.8%的相对错误率降低，表明在不同矩阵语言中均具有稳健性能。
• 在eval man和eval sge集中的英语词汇上，模型分别实现了12.8%和12.1%的相对错误率降低。
• 在eval man和eval sge集中的普通话字符上，模型分别实现了8.6%和6.2%的相对错误率降低。
• 语言特定编码器表现出不同的激活模式：普通话编码器对普通话语音响应强烈，而英语编码器对英语语音响应强烈，证实了有效的语言区分。
• 仅在解码器中使用语言特定MHA的模型（M-De）未提升性能，表明此任务中编码器特定建模比解码器特定注意力更为关键。

Figure 2: The distribution of the normalized values observed at each encoder’s final layer of the proposed MED Transformer system