[论文解读] End-to-end Speech Translation via Cross-modal Progressive Training

Rong Ye, Mingxuan Wang+1 more|arXiv (Cornell University)|Apr 21, 2021

Natural Language Processing Techniques参考文献 36被引用 8

一句话总结

该论文提出XSTNet，一种跨模态端到端语音翻译模型，通过共享Transformer架构联合训练语音到文本翻译（ST）、自动语音识别（ASR）和机器翻译（MT）任务。通过利用自监督Wav2vec2.0表征、使用平行文本数据的多任务学习以及渐进式训练策略，XSTNet在MuST-C数据集上实现了28.8的平均BLEU，超越先前方法3.2个BLEU点，达到最先进性能。

ABSTRACT

End-to-end speech translation models have become a new trend in research due to their potential of reducing error propagation. However, these models still suffer from the challenge of data scarcity. How to effectively use unlabeled or other parallel corpora from machine translation is promising but still an open problem. In this paper, we propose Cross Speech-Text Network (XSTNet), an end-to-end model for speech-to-text translation. XSTNet takes both speech and text as input and outputs both transcription and translation text. The model benefits from its three key design aspects: a self-supervised pre-trained sub-network as the audio encoder, a multi-task training objective to exploit additional parallel bilingual text, and a progressive training procedure. We evaluate the performance of XSTNet and baselines on the MuST-C En-X and LibriSpeech En-Fr datasets. In particular, XSTNet achieves state-of-the-art results on all language directions with an average BLEU of 28.8, outperforming the previous best method by 3.2 BLEU. Code, models, cases, and more detailed analysis are available at https://github.com/ReneeYe/XSTNet.

研究动机与目标

• 为解决端到端语音翻译中的数据稀缺问题，利用未标注数据和并行文本数据。
• 通过联合训练ST、ASR和MT任务，提升模型泛化能力并减少误差传播。
• 设计一种有效的训练策略，逐步利用预训练和多任务微调。
• 展示自监督语音表征和外部MT数据在低资源ST设置下的有效性。

提出的方法

• XSTNet使用自监督Wav2vec2.0子网络作为音频编码器，生成上下文相关的语音表征。
• 模型在语音到文本翻译、ASR和MT任务之间共享单一Transformer编码器和解码器，实现多任务学习。
• 引入外部MT并行数据（如WMT、OpenSubtitles）用于预训练模型，提升泛化能力。
• 采用渐进式多任务训练流程，先在外部MT数据上进行预训练，再在ST、ASR和MT监督下进行联合微调。
• 模型可接受音频或文本输入，并输出转录和翻译结果，实现所有任务的联合优化。
• 在Wav2vec2.0之后添加两层1D卷积层，以减少序列长度并对齐音频与文本序列维度。

Figure 1: The model structure of XSTNet. It accepts either audio or text input. For the audio input, we deploy wav2vec2.0 followed by two convolution layers to get the audio embedding. The Transformer encoder and decoder are shared for both modalities.

实验结果

研究问题

• RQ1 联合训练ST、ASR和MT的多任务学习是否能提升低资源语音翻译的性能？
• RQ2 使用Wav2vec2.0进行自监督预训练在减少端到端ST数据需求方面有多有效？
• RQ3 使用外部MT数据的渐进式训练是否能带来更好的收敛性和泛化能力？
• RQ4 引入大规模外部MT数据在多大程度上能提升ST性能？

主要发现

• XSTNet在MuST-C数据集上实现了28.8的新SOTA平均BLEU分数，比之前最佳方法高出3.2个BLEU点。
• 在外部WMT数据上进行预训练后，模型性能提升1.2个BLEU，证明了大规模MT预训练的有效性。
• 在微调过程中保留早期阶段数据的渐进式训练策略带来更好性能，证实了分阶段训练的优势。
• 同时训练ST、ASR和MT的多任务微调优于仅ST微调，表明鲁棒性得到提升。
• 增加外部MT数据规模（如从WMT扩展到OpenSubtitles）使MuST-C En-De的ST BLEU从27.1提升至27.8，显示出数据规模的影响。
• XSTNet在收敛速度和泛化能力方面优于仅在ST数据上训练的模型，尤其在低资源设置下表现更优。