[论文解读] Curriculum Pre-training for End-to-End Speech Translation

Chengyi Wang, Yu Wu+3 more|arXiv (Cornell University)|Apr 21, 2020

Natural Language Processing Techniques参考文献 30被引用 14

一句话总结

本论文提出了一种端到端语音翻译的课程预训练方法，通过逐步训练编码器完成语音转录（ASR）、句子理解（基于帧的掩码语言建模）以及跨语言词映射（基于帧的双语词典翻译）任务。该方法在LibriSpeech En-De和IWSLT18 En-Fr基准上显著提升性能，在LibriSpeech扩展设置上达到18.01 BLEU，在IWSLT基础设置上达到16.27 BLEU。

ABSTRACT

End-to-end speech translation poses a heavy burden on the encoder, because it has to transcribe, understand, and learn cross-lingual semantics simultaneously. To obtain a powerful encoder, traditional methods pre-train it on ASR data to capture speech features. However, we argue that pre-training the encoder only through simple speech recognition is not enough and high-level linguistic knowledge should be considered. Inspired by this, we propose a curriculum pre-training method that includes an elementary course for transcription learning and two advanced courses for understanding the utterance and mapping words in two languages. The difficulty of these courses is gradually increasing. Experiments show that our curriculum pre-training method leads to significant improvements on En-De and En-Fr speech translation benchmarks.

研究动机与目标

• 解决标准预训练方法仅关注语音转录而忽略高层语言与跨语言知识的局限性。
• 通过在预训练阶段为编码器赋予语义理解与双语映射能力，减轻解码器的负担。
• 通过结构化、难度递增的预训练课程提升端到端语音翻译性能。
• 探究分层预训练结合任务特定层分配是否能增强模型学习能力与迁移性能。

提出的方法

• 提出一个三阶段的课程预训练流程：(1) 在转录语音上进行ASR预训练，(2) 通过基于帧的掩码语言建模（FMLM）学习句子语义，(3) 通过基于帧的双语词典翻译（FBLT）学习跨语言词映射。
• 通过掩码完整对齐的词级语音片段并训练编码器预测被掩码内容，设计FMLM任务，以促进句法与语义理解。
• 设计FBLT任务，为每个源语言对齐的语音片段预测目标语言词汇，提供显式的跨语言监督。
• 实施分层预训练：前8层编码器在ASR与FMLM上训练，后4层在FBLT上训练，实现分层专业化。
• 采用两阶段训练策略：先在ASR与FMLM上预训练，再在FBLT上微调，确保学习过程稳定推进。
• 优化超参数，特别是用于ASR与FMLM预训练的层数$N$，发现$N=8$时性能最优。

实验结果

研究问题

• RQ1 通过逐步增加复杂度的任务（转录、句子理解、跨语言映射）对编码器进行预训练，是否能提升端到端语音翻译性能？
• RQ2 引入基于帧的掩码语言建模（FMLM）是否能增强编码器对话语级语义的理解能力？
• RQ3 基于帧的双语词典翻译（FBLT）是否能有效教会编码器实现跨语言词映射并减轻解码器负担？
• RQ4 与单阶段或多任务预训练相比，分层多阶段课程预训练策略是否更具有效性？
• RQ5 不同预训练任务在编码器层上的分配选择如何影响最终语音翻译性能？

主要发现

• 所提出的课程预训练方法在LibriSpeech扩展设置上达到18.01 BLEU，显著优于基线端到端Transformer语音翻译模型。
• 在IWSLT18基础设置上，该方法达到16.27 BLEU，超过此前最佳级联模型（LSTM ASR+MT）的14.0 BLEU。
• 消融实验表明，若移除FMLM或FBLT任务，性能均下降（分别降至17.62和17.65 BLEU），证实两项任务均具益处。
• 若移除第二阶段预训练（即仅在ASR上训练），性能显著下降至16.90 BLEU，表明高级课程的必要性。
• 多任务预训练（ASR、FMLM、FBLT在单一阶段联合训练）表现不如课程学习（14.82 BLEU），表明分阶段学习更有效。
• 最优超参数设置为：ASR与FMLM预训练使用8层，剩余4层用于FBLT，达到最高BLEU得分18.01。