[论文解读] Efficient Sequence Transduction by Jointly Predicting Tokens and Durations

Xu H, Fei Jia+4 more|arXiv (Cornell University)|Apr 13, 2023

Speech Recognition and Synthesis被引用 6

一句话总结

本文提出了一种新型的序列到序列架构——Token-and-Duration Transducer（TDT），在推理过程中联合预测标记及其持续时间，从而实现帧跳过，提升解码速度。TDT 在自动语音识别、语音翻译和意图分类任务中，相较于传统 RNN-Transducer，实现了最高达 2.82 倍的推理加速，并提升了准确率，同时对重复标记序列表现出更强的鲁棒性。

ABSTRACT

This paper introduces a novel Token-and-Duration Transducer (TDT) architecture for sequence-to-sequence tasks. TDT extends conventional RNN-Transducer architectures by jointly predicting both a token and its duration, i.e. the number of input frames covered by the emitted token. This is achieved by using a joint network with two outputs which are independently normalized to generate distributions over tokens and durations. During inference, TDT models can skip input frames guided by the predicted duration output, which makes them significantly faster than conventional Transducers which process the encoder output frame by frame. TDT models achieve both better accuracy and significantly faster inference than conventional Transducers on different sequence transduction tasks. TDT models for Speech Recognition achieve better accuracy and up to 2.82X faster inference than conventional Transducers. TDT models for Speech Translation achieve an absolute gain of over 1 BLEU on the MUST-C test compared with conventional Transducers, and its inference is 2.27X faster. In Speech Intent Classification and Slot Filling tasks, TDT models improve the intent accuracy by up to over 1% (absolute) over conventional Transducers, while running up to 1.28X faster. Our implementation of the TDT model will be open-sourced with the NeMo (https://github.com/NVIDIA/NeMo) toolkit.

研究动机与目标

• 通过在推理过程中实现帧跳过，缓解传统 RNN-Transducer 自回归解码带来的高计算成本。
• 提升模型对重复标记序列的鲁棒性，解决标准 RNN-Transducer 中已知的失败模式。
• 为联合标记与持续时间预测开发可微分的训练框架，并实现解析梯度计算。
• 在多个序列转换任务中，持续实现准确率与推理速度的双重提升。

提出的方法

• TDT 在标准 RNN-Transducer 的基础上，引入一个联合网络，分别输出标记和持续时间的分布，且两者均独立归一化。
• 在推理阶段，预测的持续时间决定了跳过的输入帧数，从而减少解码步数。
• 将前向-后向算法扩展以计算标记与持续时间预测的梯度，实现端到端训练。
• 利用函数合并技术，计算标记预测的预-Softmax 对数几率的梯度，提升训练稳定性。
• 模型采用共享编码器与解码器，联合网络接收编码后的声学特征和解码器隐藏状态作为输入。
• 持续时间预测建模为帧数上的离散分布，使模型能够学习最优跳过模式。

实验结果

研究问题

• RQ1 联合预测标记与持续时间是否能在不损失准确率的前提下，提升序列转换模型的推理速度？
• RQ2 在解码过程中跳过帧是否能降低计算成本，同时保持或提升模型性能？
• RQ3 与传统 RNN-Transducer 相比，TDT 架构在自动语音识别、语音翻译和口语理解任务中的表现如何？
• RQ4 TDT 在多大程度上缓解了语音输入中重复标记序列导致的性能下降问题？
• RQ5 能否通过解析梯度计算，有效优化标记头与持续时间头的联合训练？

主要发现

• 在自动语音识别任务中，TDT 模型的推理速度最高可达传统 RNN-Transducer 的 2.82 倍，且准确率得到提升。
• 在 MUST-C 语音翻译基准上，TDT 模型实现了超过 1 个 BLEU 的绝对提升，且推理速度比标准 Transducer 快 2.27 倍。
• 在语音意图分类与槽位填充任务中，TDT 将意图准确率最高提升 1.28 个百分点，推理速度最快提升 1.28 倍。
• TDT 模型在重复标记序列上表现出显著更强的鲁棒性，在包含重复数字的合成数据集上，WER 从 RNN-T 的 59.95% 降低至 5.78%。
• TDT 模型的联合训练框架可实现稳定优化，且对标记头与持续时间头均支持解析梯度计算。
• TDT 的实现将开源于 NeMo 工具包，促进其应用与进一步研究。