[论文解读] ESPnet-ST: All-in-One Speech Translation Toolkit

Hirofumi Inaguma, Shun Kiyono+5 more|arXiv (Cornell University)|Apr 21, 2020

Natural Language Processing Techniques参考文献 47被引用 9

一句话总结

ESPnet-ST 是一个一体化工具包，将端到端和级联式语音翻译（ST）统一在一个框架内，集成自动语音识别（ASR）、机器翻译（MT）和文本到语音（TTS）模块。它通过统一的训练和解码流程以及预训练模型，在多个 ST 基准测试中实现了可复现的、最先进的性能，仅需单张 GPU 在两天内即可完成训练，表现具有竞争力。

ABSTRACT

We present ESPnet-ST, which is designed for the quick development of speech-to-speech translation systems in a single framework. ESPnet-ST is a new project inside end-to-end speech processing toolkit, ESPnet, which integrates or newly implements automatic speech recognition, machine translation, and text-to-speech functions for speech translation. We provide all-in-one recipes including data pre-processing, feature extraction, training, and decoding pipelines for a wide range of benchmark datasets. Our reproducible results can match or even outperform the current state-of-the-art performances; these pre-trained models are downloadable. The toolkit is publicly available at https://github.com/espnet/espnet.

研究动机与目标

• 为解决当前缺乏同时支持端到端和级联式语音翻译（ST）系统的统一工具包的问题，提供一个单一、可互操作的框架。
• 通过提供完整、针对语料的配方，涵盖数据预处理、特征提取、训练和推理，实现快速原型设计与可复现的研究。
• 通过共享组件（ASR、MT、TTS）支持 E2E-ST 和 Cascade-ST 工作流，实现无缝的模型混合与迁移学习。
• 提供高性能、已调优的预训练模型，在无需额外数据的情况下，其性能在主流 ST 基准测试中达到或超过当前最先进水平。
• 通过提供基于 ESPnet 成熟架构构建的统一、可扩展的代码库，降低研究者在 ST 领域的入门门槛。

提出的方法

• 基于 Kaldi 启发的分阶段处理框架，将 ASR、MT、TTS 和 ST 模块整合到单一统一的代码库中。
• 提供基于序列到序列（S2S）架构的端到端 ST 模型，采用基于 Transformer 的编码器和解码器。
• 通过联合训练 ASR 和 ST 头部或微调预训练的 ASR 模型，支持多任务学习（MTL）和迁移学习。
• 采用数据增强技术，如 SpecAugment 和速度扰动，并根据语料选择 1k 或 5k/8k 词汇量的子词分词（BPE）。
• 每份配方使用单一脚本（run.sh）自动化完成所有 ST 任务的数据集准备、特征提取、训练和解码。
• 通过 YAML 配置文件（conf/train.yaml 和 conf/decode.yaml）实现训练和推理设置的可配置化。

实验结果

研究问题

• RQ1 统一的工具包是否能够通过一致的流程简化端到端与级联式语音翻译系统的开发？
• RQ2 多任务学习和迁移学习在多样的基准测试中，对提升端到端 ST 性能的程度如何？
• RQ3 在 BLEU 分数和训练效率方面，ESPnet-ST 训练的 E2E-ST 模型与当前最先进系统相比表现如何？
• RQ4 该工具包是否能高效支持高资源与低资源 ST 场景，包括濒危语言设置？
• RQ5 超参数调优和模型架构选择在统一框架中如何影响 ST 系统的性能？

主要发现

• ESPnet-ST 在 Fisher-CallHome 西班牙语（Es→En）基准上达到最先进或具有竞争力的性能，BLEU 分数与最佳报告结果相当，但训练速度显著提升（单张 GPU 仅需 1–2 天，而此前需超过 2.5 周，使用 16 张 GPU）。
• 在 Libri-trans（En→Fr）上，E2E-ST 模型仅使用标准的 100 小时英语语音和增强的法语参考译文，未引入额外数据，即实现了具有竞争力的 BLEU 分数。
• 在 How2（En→Pt）上，ESPnet-ST 超过了先前基于 RNN 的模型，证明了 Transformer 模型在 YouTube 风格语音翻译中的有效性。
• 在 Must-C（En→8 种语言）上，ESPnet-ST 在全部 8 种语言方向上均大幅超越此前工作，在 tst-COMMON 集上实现了强劲的大小写敏感 BLEU 分数。
• 在 IWSLT16（En↔De）上的 MT 实验表明，ESPnet-ST 的 Transformer 模型性能与 Fairseq 几乎完全一致，证实了其可靠性，且超参数敏感性得到了良好控制。
• 该工具包支持快速推理（RTF 0.7755），并支持交互式演示部署，展示了其在实时应用中的实际可用性。