[论文解读] "Listen, Understand and Translate": Triple Supervision Decouples End-to-end Speech-to-text Translation

Qianqian Dong, Rong Ye+5 more|arXiv (Cornell University)|Sep 21, 2020

Speech Recognition and Synthesis被引用 13

一句话总结

该论文提出LUT，一种统一的端到端语音到文本翻译框架，将任务解耦为三个阶段——听觉（声学建模）、理解（语义表征）和翻译（跨语言生成），并采用三重监督机制：声学对齐、预训练BERT嵌入和标准翻译损失。该方法在LibriSpeech、IWSLT和TED基准上实现了最先进性能，通过有效利用外部ASR和MT数据，无需额外微调或推理开销。

ABSTRACT

An end-to-end speech-to-text translation (ST) takes audio in a source language and outputs the text in a target language. Existing methods are limited by the amount of parallel corpus. Can we build a system to fully utilize signals in a parallel ST corpus? We are inspired by human understanding system which is composed of auditory perception and cognitive processing. In this paper, we propose Listen-Understand-Translate, (LUT), a unified framework with triple supervision signals to decouple the end-to-end speech-to-text translation task. LUT is able to guide the acoustic encoder to extract as much information from the auditory input. In addition, LUT utilizes a pre-trained BERT model to enforce the upper encoder to produce as much semantic information as possible, without extra data. We perform experiments on a diverse set of speech translation benchmarks, including Librispeech English-French, IWSLT English-German and TED English-Chinese. Our results demonstrate LUT achieves the state-of-the-art performance, outperforming previous methods. The code is available at https://github.com/dqqcasia/st.

研究动机与目标

• 为解决端到端语音翻译（ST）模型性能受限于平行ST语料不足以及缺乏中间监督的问题。
• 将ST任务解耦为三个独立阶段——听、理解与翻译，模拟人类听觉与认知处理过程。
• 通过利用预训练模型和辅助监督，提升声学与语义表征学习能力，且无需额外并行数据。
• 通过多层次监督增强模型对转录错误（如误识别、遗漏、重复）的鲁棒性。

提出的方法

• LUT框架由三个模块组成：声学编码器用于音频特征提取，语义编码器用于上下文语义表征，翻译解码器用于目标语言生成。
• 应用三重监督：(1) 单调对齐损失，用于指导声学编码器学习局部音频帧依赖关系；(2) 预训练BERT嵌入，用于监督语义编码器以学习丰富语义表征；(3) 标准交叉熵损失用于翻译任务。
• 声学编码器通过ASR转录结果的强制对齐进行训练，以保持局部、单调的帧到词关系。
• 语义编码器使用源文本的池化BERT上下文嵌入进行监督，使其在无需额外数据的情况下学习高层语义意义。
• 模型端到端联合训练，使用全部三种损失，但在推理阶段仅使用最终的翻译损失，确保效率。
• 该架构支持灵活的主干网络选择（如Transformer、CNN、RNN），可适配不同硬件和任务约束。

实验结果

研究问题

• RQ1 三重监督（声学、语义与翻译）是否能超越标准序列到序列模型，提升端到端语音到文本翻译性能？
• RQ2 利用预训练BERT嵌入进行语义监督，是否能在不依赖额外并行数据的前提下增强语义表征？
• RQ3 强制单调对齐是否能通过保留局部帧依赖关系，提升ST中的声学建模性能？
• RQ4 LUT在多样化的ST基准上与级联式及端到端基线模型相比表现如何？
• RQ5 LUT在输入语音存在误识别、遗漏或重复等转录错误时，其鲁棒性如何？

主要发现

• LUT在LibriSpeech英语-法语、IWSLT2018英语-德语和TED英语-中文语音翻译基准上均达到最先进性能。
• 在LibriSpeech上，LUT在LibriTTS测试集上取得35.6的BLEU分数，较之前端到端模型高出超过2个BLEU点。
• 在IWSLT2018上，LUT取得32.1的BLEU分数，显著优于之前最先进模型3.2个BLEU点。
• 在TED英语-中文任务上，LUT取得28.7的BLEU分数，展现出强大的零样本泛化能力及对领域迁移的鲁棒性。
• 消融实验确认，基于BERT的语义监督与单调对齐损失均对性能提升有显著贡献。
• LUT对转录错误表现出容错能力——即使ASR假设存在缺失或重复词语，仍能保持正确翻译输出。