[论文解读] Improving Cross-Lingual Transfer Learning for End-to-End Speech Recognition with Speech Translation

Changhan Wang, Juan Pino+1 more|arXiv (Cornell University)|Jun 9, 2020

Speech Recognition and Synthesis参考文献 40被引用 7

一句话总结

本文提出将语音到文本翻译（ST）作为中间任务，通过迁移学习提升低资源端到端自动语音识别（ASR）性能。通过使用机器翻译的高资源ASR转录文本训练ST模型，该方法实现了ST与目标ASR之间的完整模型共享，在无需人工标注翻译的情况下，显著降低了词错误率（WER）——在低资源语言上最高降低17.6%。

ABSTRACT

Transfer learning from high-resource languages is known to be an efficient way to improve end-to-end automatic speech recognition (ASR) for low-resource languages. Pre-trained or jointly trained encoder-decoder models, however, do not share the language modeling (decoder) for the same language, which is likely to be inefficient for distant target languages. We introduce speech-to-text translation (ST) as an auxiliary task to incorporate additional knowledge of the target language and enable transferring from that target language. Specifically, we first translate high-resource ASR transcripts into a target low-resource language, with which a ST model is trained. Both ST and target ASR share the same attention-based encoder-decoder architecture and vocabulary. The former task then provides a fully pre-trained model for the latter, bringing up to 24.6% word error rate (WER) reduction to the baseline (direct transfer from high-resource ASR). We show that training ST with human translations is not necessary. ST trained with machine translation (MT) pseudo-labels brings consistent gains. It can even outperform those using human labels when transferred to target ASR by leveraging only 500K MT examples. Even with pseudo-labels from low-resource MT (200K examples), ST-enhanced transfer brings up to 8.9% WER reduction to direct transfer.

研究动机与目标

• 通过从高资源语言增强迁移学习，提升低资源端到端ASR性能。
• 解决直接从高资源ASR模型迁移时的语言特定词汇不匹配问题。
• 通过对齐ASR与ST的架构和共享词汇，实现在ASR与ST之间完全的模型共享。
• 证明机器翻译（MT）生成的伪标签可有效替代ST训练中的人工标注翻译。
• 研究上游ST性能提升如何传递至下游低资源ASR，特别是通过半监督学习或更高质量伪标签的方式。

提出的方法

• 为ASR与ST使用共享的基于注意力的编码器-解码器架构，实现参数共享并促进平滑迁移。
• 在通过MT模型将高资源ASR转录文本翻译为目标低资源语言后，使用该数据训练ST模型。
• 利用MT系统（如Transformer base/big）生成的伪标签作为ST模型的训练目标，避免对人工标注翻译的依赖。
• 应用知识蒸馏原理，利用MT伪标签简化数据分布并降低ST训练中的噪声。
• 从预训练的高资源ASR模型微调ST模型，以保留强健的声学表征。
• 通过训练支持高资源与低资源语言的通用ASR模型，将该方法扩展至多语言场景。

Figure 1: An overview of proposed transfer learning pipeline.

实验结果

研究问题

• RQ1 将语音到文本翻译作为中间任务，能否提升低资源端到端ASR中的迁移学习性能？
• RQ2 与人工标注翻译相比，机器翻译生成的伪标签在训练ST模型用于ASR迁移时效果如何？
• RQ3 通过更多数据或自训练提升上游ST模型，是否能带来下游低资源ASR性能的改善？
• RQ4 ASR与ST架构之间实现完全模型共享，在多大程度上提升了迁移效率与性能？
• RQ5 所提出的方法能否推广至使用共享编码器-解码器架构的多语言ASR场景？

主要发现

• 基于ST的迁移学习方法在蒙古语等低资源语言上，将WER降低了高达17.6%，相比直接从高资源ASR模型迁移。
• 在葡萄牙语上，该方法实现了超过10%的相对WER降低，表明在低资源场景下具有显著优势。
• 来自机器翻译（如OpenSubtitles上的Transformer base/big）的伪标签，其ST模型性能与人工标注翻译相当，尤其在训练数据充足时更为明显。
• 在MT伪标签上训练的ST模型可提升下游ASR性能，通过半监督学习或更高质量伪标签可进一步提升性能。
• 该方法优于直接从高资源ASR模型微调，尤其在低资源场景下，得益于更优的语言建模与知识迁移。
• 在多语言场景中，ST增强的迁移流程在包括海地语和蒙古语在内的多个低资源语言上均持续提升了ASR性能。

Figure 2: Learning curve (training accuracy) for Mongolian (lowest-resource) and Vietnamese (highest-resource).