[论文解读] Code-Switching without Switching: Language Agnostic End-to-End Speech Translation

Christian Huber, Enes Yavuz Ugan+1 more|arXiv (Cornell University)|Oct 4, 2022

Speech Recognition and Synthesis被引用 8

一句话总结

本文提出一种语言无关的端到端语音翻译（LAST）模型，将语音识别与翻译统一为单一系统，无需语言识别或流水线处理。通过在无显式语言标签的多语言语音输入上进行训练，LAST在保持单语性能相当的同时，降低了延迟并提升了代码切换（CS）的鲁棒性，在句间代码切换上取得7.3 BLEU的提升，通过数据增强额外获得3.3 BLEU的增益。

ABSTRACT

We propose a) a Language Agnostic end-to-end Speech Translation model (LAST), and b) a data augmentation strategy to increase code-switching (CS) performance. With increasing globalization, multiple languages are increasingly used interchangeably during fluent speech. Such CS complicates traditional speech recognition and translation, as we must recognize which language was spoken first and then apply a language-dependent recognizer and subsequent translation component to generate the desired target language output. Such a pipeline introduces latency and errors. In this paper, we eliminate the need for that, by treating speech recognition and translation as one unified end-to-end speech translation problem. By training LAST with both input languages, we decode speech into one target language, regardless of the input language. LAST delivers comparable recognition and speech translation accuracy in monolingual usage, while reducing latency and error rate considerably when CS is observed.

研究动机与目标

• 为解决语音翻译中代码切换的挑战，消除对语言识别和独立的识别/翻译流水线的需求。
• 开发一种统一的端到端模型，无论输入语言为何，均可将多语言语音解码为单一目标语言。
• 在无需大规模标注代码切换数据集的情况下，提升对句间代码切换的性能。
• 通过用单一联合模型替代多阶段系统，简化部署并降低延迟。
• 评估通过语句拼接实现的数据增强在提升代码切换泛化能力方面的有效性。

提出的方法

• 在一个单一的基于Transformer的编码器-解码器模型上，使用来自两种语言的单语语音数据进行训练，使其能够将任意输入语音解码为单一目标语言。
• 采用一种数据增强策略，将不同源语言的语音和转录文本拼接成新的训练语句，以模拟代码切换。
• 以不同比例（5%至75%）应用该增强方法，以研究其对模型泛化能力和鲁棒性的影响。
• 在包含句间代码切换的自定义测试集（tst-inter）上评估模型，与包含语言识别及独立ASR/ST模型的基线模型进行比较。
• 使用共享的编码器和解码器架构，以保持模型简洁，并实现识别与翻译的联合优化。
• 利用模型处理混合语言输入的能力，无需显式语言标签或语言特定组件。

实验结果

研究问题

• RQ1 一个单一的端到端语音翻译模型是否能在不依赖显式语言识别的情况下，实现与单语语音相当的性能，同时处理代码切换？
• RQ2 与基于流水线的方法相比，使用多语言语音输入进行训练在提升对句间代码切换的鲁棒性方面效果如何？
• RQ3 通过语句拼接实现的数据增强在语言无关模型中，能在多大程度上提升代码切换的泛化能力？
• RQ4 与传统的多阶段ASR+ST流水线相比，统一模型是否能降低延迟和复杂度？
• RQ5 由于训练中未使用此类数据，该模型在句内代码切换上的表现如何？

主要发现

• LAST在单语测试集上的自动语音识别（ASR）和语音翻译（ST）性能与基线模型相当。
• 在句间代码切换测试集（tst-inter）上，LAST相较于人工标注语言识别及独立ASR或ST模型的基线，提升了7.3 BLEU。
• 数据增强策略使模型在tst-inter上的性能相比基础LAST模型进一步提升3.3 BLEU，相较于基线模型总提升达10.6 BLEU。
• 即使仅使用一半的训练数据，LAST模型在tst-inter上的表现也几乎与完整模型相当，表明性能提升源于上下文建模能力，而非数据量。
• 该模型通过消除离散的语言识别和流水线路由，保持了低延迟并简化了部署。
• 定性分析显示，句内代码切换的性能未见提升，可能是因为训练中缺乏此类数据，表明该领域仍需进一步研究。