[论文解读] Bridging the Modality Gap for Speech-to-Text Translation

Yuchen Liu, Junnan Zhu+2 more|arXiv (Cornell University)|Oct 28, 2020

Speech Recognition and Synthesis参考文献 38被引用 39

一句话总结

STAST 模型将语音翻译编码器解耦，引入收缩机制，在共享潜在空间中整合基于文本的 MT 模型，并应用跨模态自适应以桥接语音-文本模态差距，在英语-法语和英语-德语 ST 任务中取得最先进的结果。

ABSTRACT

End-to-end speech translation aims to translate speech in one language into text in another language via an end-to-end way. Most existing methods employ an encoder-decoder structure with a single encoder to learn acoustic representation and semantic information simultaneously, which ignores the speech-and-text modality differences and makes the encoder overloaded, leading to great difficulty in learning such a model. To address these issues, we propose a Speech-to-Text Adaptation for Speech Translation (STAST) model which aims to improve the end-to-end model performance by bridging the modality gap between speech and text. Specifically, we decouple the speech translation encoder into three parts and introduce a shrink mechanism to match the length of speech representation with that of the corresponding text transcription. To obtain better semantic representation, we completely integrate a text-based translation model into the STAST so that two tasks can be trained in the same latent space. Furthermore, we introduce a cross-modal adaptation method to close the distance between speech and text representation. Experimental results on English-French and English-German speech translation corpora have shown that our model significantly outperforms strong baselines, and achieves the new state-of-the-art performance.

研究动机与目标

• 推动端到端语音到文本翻译，并解决语音与文本之间的模态差距。
• 将语音翻译编码器解耦为专门的组件，以降低学习负担。
• 在 ST 模型内利用基于文本的 MT 模型来对齐语义表征。
• 通过跨模态自适应缩小语音-文本表示差距。
• 在英语-法语和英语-德语 ST 基准上展示最先进的性能。

提出的方法

• 将 ST 编码器解耦为三部分：声学编码器、收缩机制和语义编码器。
• 在声学编码器上使用 CTC 模块来预测源文本的转录，并应用收缩机制使语音表示长度与转录长度对齐。
• 通过共享语义编码器/解码器并对齐 CTC、嵌入和 MT 输出空间，整合一个完整的 MT 模型。
• 应用跨模态自适应来对齐语音与文本表示，采用序列级或词级基于 MSE 的损失。
• 以多任务设定，结合 CTC 损失、ST 损失、MT 损失和跨模态自适应损失进行训练。

实验结果

研究问题

• RQ1 将 ST 编码器解耦，通过分离声学表示和语义表示学习，是否能减轻学习负担？
• RQ2 收缩机制是否能有效解决语音帧与文本标记之间的长度不匹配？
• RQ3 在共享潜在空间中整合 MT 是否能改善 ST 的语义表示？
• RQ4 跨模态自适应是否进一步降低模态距离并提高翻译精度？

主要发现

• STAST 在 Augmented LibriSpeech En-Fr 上达到最先进或有竞争力的 BLEU，优于若干端到端基线。
• 在 MuST_C En-De 上，STAST 在基础设置中超越所有以前的端到端模型，在 SpecAugment 下仍然表现出色。
• 消融实验表明所提出的所有组件（收缩、语义编码器、跨模态自适应、多任务学习、CTC 损失）对性能有积极贡献。
• 序列级跨模态自适应通常比词级自适应表现略好。
• STAST 展示了对数据规模的鲁棒性，并从额外的 ASR 数据以及在某种程度上额外的 MT 数据中受益。