[论文解读] DASpeech: Directed Acyclic Transformer for Fast and High-quality Speech-to-Speech Translation

Qingkai Fang, Yan Zhou+1 more|arXiv (Cornell University)|Oct 11, 2023

Speech Recognition and Synthesis被引用 4

一句话总结

DASpeech 提出了一种非自回归、两阶段的语音到语音翻译模型，其语言解码器（DA-Transformer）使用有向无环图（DAG），并采用基于 FastSpeech 2 的声学解码器，实现了高质量、高速的推理。通过在训练期间使用动态规划计算期望隐藏状态，并在推理时选择最可能的路径，DASpeech 相较于自回归模型实现了最高达 18.53 倍的加速，同时在 CVSS Fr→En 任务上达到或超越当前最先进性能，并实现了更优的说话人语音保留效果。

ABSTRACT

Direct speech-to-speech translation (S2ST) translates speech from one language into another using a single model. However, due to the presence of linguistic and acoustic diversity, the target speech follows a complex multimodal distribution, posing challenges to achieving both high-quality translations and fast decoding speeds for S2ST models. In this paper, we propose DASpeech, a non-autoregressive direct S2ST model which realizes both fast and high-quality S2ST. To better capture the complex distribution of the target speech, DASpeech adopts the two-pass architecture to decompose the generation process into two steps, where a linguistic decoder first generates the target text, and an acoustic decoder then generates the target speech based on the hidden states of the linguistic decoder. Specifically, we use the decoder of DA-Transformer as the linguistic decoder, and use FastSpeech 2 as the acoustic decoder. DA-Transformer models translations with a directed acyclic graph (DAG). To consider all potential paths in the DAG during training, we calculate the expected hidden states for each target token via dynamic programming, and feed them into the acoustic decoder to predict the target mel-spectrogram. During inference, we select the most probable path and take hidden states on that path as input to the acoustic decoder. Experiments on the CVSS Fr-En benchmark demonstrate that DASpeech can achieve comparable or even better performance than the state-of-the-art S2ST model Translatotron 2, while preserving up to 18.53x speedup compared to the autoregressive baseline. Compared with the previous non-autoregressive S2ST model, DASpeech does not rely on knowledge distillation and iterative decoding, achieving significant improvements in both translation quality and decoding speed. Furthermore, DASpeech shows the ability to preserve the speaker's voice of the source speech during translation.

研究动机与目标

• 为解决直接语音到语音翻译（S2ST）中翻译质量与解码速度之间的权衡问题。
• 在不依赖知识蒸馏或迭代解码的前提下，建模目标语音中复杂的多模态分布（涵盖语言和声学变化）。
• 在保持高翻译质量的同时，实现快速的非自回归推理，并保留源说话人的语音特征。
• 开发一种端到端训练策略，通过动态规划有效整合基于 DAG 的语言解码器与声学解码器。

提出的方法

• 该模型采用两阶段架构：基于 DA-Transformer 的语言解码器通过有向无环图（DAG）生成目标文本标记，随后由基于 FastSpeech 2 的声学解码器从语言解码器的隐藏状态生成梅尔频谱图。
• 在训练过程中，通过在 DAG 的所有路径上使用动态规划计算每个目标标记的期望隐藏状态，这些状态随后用于监督声学解码器。
• 在推理阶段，选择 DAG 中最可能的路径，其隐藏状态被输入声学解码器以实现快速、并行生成。
• DA-Transformer 解码器通过 DAG 建模多种翻译假设，缓解了非自回归模型中常见的多模态问题。
• 声学解码器显式建模变异性因素（如基频、时长、能量），以捕捉声学多样性，从而提升语音质量和说话人相似度。
• 通过可微分的路径选择与期望隐藏状态计算，实现端到端训练，支持两个解码器的联合优化。

实验结果

研究问题

• RQ1 非自回归两阶段 S2ST 模型是否能在不依赖知识蒸馏或迭代优化的情况下实现高翻译质量？
• RQ2 基于 DAG 的解码器是否能改善非自回归 S2ST 中的语言多样性建模，并缓解多模态问题？
• RQ3 该模型能否在翻译过程中有效保留源说话人的语音特征？与自回归基线相比表现如何？
• RQ4 与自回归模型相比，非自回归两阶段 S2ST 模型的解码速度提升多少？其翻译质量是否仍具竞争力？

主要发现

• 在 CVSS Fr→En 基准测试中，DASpeech 的翻译质量与 Translatotron 2 相当或更优，词错误率（WER）为 10.2，主观评分（MOS）为 4.26，两项指标均优于自回归基线模型。
• 与自回归基线相比，DASpeech 在解码速度上最高实现 18.53 倍的加速，展现出显著的推理效率优势。
• 相比先前的非自回归 S2ST 模型 TranSpeech，DASpeech 在 BLEU 指标上提升 1.8 分、MOS 提升 0.3 分，且无需知识蒸馏或迭代解码。
• 在保留源说话人语音方面，DASpeech 显著优于 Translatotron 和 Translatotron 2，在测试集上达到 0.89 的说话人相似度，表明其具备强大的说话人身份保留能力。
• 训练成本高于 Translatotron 2（96 对比 18 GPU 小时），主要由于训练期间的动态规划计算，但这一开销带来了更优的性能表现。
• 当在同说话人语音到语音配对数据上进行训练时，模型展现出说话人身份保留的涌现特性，表明声学解码器能有效学习说话人特异性变化。