[论文解读] Learning Shared Semantic Space for Speech-to-Text Translation

Chi Han, Mingxuan Wang+2 more|arXiv (Cornell University)|May 7, 2021

Natural Language Processing Techniques参考文献 57被引用 7

一句话总结

Chimera 提出了一种共享语义记忆网络，通过一种模态无关的嵌入空间将语音和文本表征相连接，使端到端语音到文本翻译能够利用大规模文本机器翻译（MT）数据。通过将语音和文本特征投影到统一的语义空间，并使用双模态对比损失，Chimera 在 MuST-C EN-DE 上实现了新的 SOTA 27.1 BLEU，相比 SOTA 提升了 +1.9 BLEU，同时在模态之间展示了有效的知识迁移。

ABSTRACT

Having numerous potential applications and great impact, end-to-end speech translation (ST) has long been treated as an independent task, failing to fully draw strength from the rapid advances of its sibling - text machine translation (MT). With text and audio inputs represented differently, the modality gap has rendered MT data and its end-to-end models incompatible with their ST counterparts. In observation of this obstacle, we propose to bridge this representation gap with Chimera. By projecting audio and text features to a common semantic representation, Chimera unifies MT and ST tasks and boosts the performance on ST benchmarks, MuST-C and Augmented Librispeech, to a new state-of-the-art. Specifically, Chimera obtains 27.1 BLEU on MuST-C EN-DE, improving the SOTA by a +1.9 BLEU margin. Further experimental analyses demonstrate that the shared semantic space indeed conveys common knowledge between these two tasks and thus paves a new way for augmenting training resources across modalities. Code, data, and resources are available at https://github.com/Glaciohound/Chimera-ST.

研究动机与目标

• 为解决端到端语音翻译（ST）中语音与文本之间的模态差距问题，该差距限制了性能并阻碍了大规模文本机器翻译（MT）数据的利用。
• 通过学习一种共享的语义表征，统一 ST 与 MT 的工作流程，以捕捉模态无关的语言意义。
• 通过统一的训练框架，实现从高资源 MT 数据到低资源 ST 任务的知识迁移。
• 验证共享语义空间是否能够捕捉跨模态的有意义且结构化的语义与句法模式。

提出的方法

• Chimera 采用共享语义记忆模块，将语音和文本特征投影到一个共同的、模态无关的嵌入空间。
• 引入双模态对比学习目标，对齐语音和文本输入的语义记忆，促使语义等价内容在表征上趋于一致。
• 模型采用基于 Transformer 的架构，通过多个头从输入序列中提取关键语义类别。
• 在大规模 MT 语料库（如 OpenSubtitles）上进行预训练，以初始化共享语义空间，随后在语音-文本平行数据上进行微调。
• 在成对的语音与文本样本之间应用对比损失，确保语义等价输入在共享空间中被映射到相近位置。
• 该架构支持 ST 与 MT 目标的同时训练，实现任务间的知识共享。

实验结果

研究问题

• RQ1 共享语义空间能否有效弥合端到端语音翻译中语音与文本表征之间的差距？
• RQ2 当与统一的语义表征结合时，在大规模文本机器翻译数据上进行预训练是否能显著提升 ST 性能？
• RQ3 所学习的共享语义空间是否以反映语义与句法模式（如疑问句结构或动词类型）的方式组织？
• RQ4 双模态对比训练任务在多大程度上改善了语音与文本表征之间的对齐？
• RQ5 统一模型是否能在语音翻译基准的多个语言方向上实现最先进性能？

主要发现

• Chimera 在 MuST-C EN-DE 翻译方向上实现了新的 SOTA 27.1 BLEU 分数，相比之前 SOTA 提升了 +1.9 BLEU。
• 在预训练阶段使用更大规模的 MT 语料库时，性能显著提升，证实了高资源 MT 数据在增强 ST 性能方面的价值。
• 通过主成分分析（PCA）的可视化显示，语音和文本表征被投影到共享语义记忆区域的相近位置，验证了模态差距的弥合效果。
• 共享语义空间呈现出按语义与句法模式（如疑问句、将来时态、连系动词）进行结构化聚类的特性，表明实现了有意义的表征学习。
• 跨模态注意力可视化显示，语音中的停顿与文本中的标点符号（如句号）存在对齐，表明注意力机制关注的是语义而非位置信息。
• 消融实验确认了双模态对比损失和共享语义记忆模块在提升 ST 性能方面的有效性。