[论文解读] Developing Real-time Streaming Transformer Transducer for Speech Recognition on Large-scale Dataset

Xie Chen, Yu Wu+3 more|arXiv (Cornell University)|Oct 22, 2020

Speech Recognition and Synthesis参考文献 34被引用 9

一句话总结

本文提出了一种用于大规模语音识别的实时流式Transformer Transducer (T-T) 和 Conformer Transducer (C-T) 模型，结合了Transformer-XL与分块处理技术，实现在不牺牲准确率的前提下低延迟推理。该方法在CPU上实现了0.25的实时因子（RTF），并具有360ms的前瞻时间，相比RNN-T和流式Transformer AED模型，相对WER提升超过10%，同时保持高效的计算性能。

ABSTRACT

Recently, Transformer based end-to-end models have achieved great success in many areas including speech recognition. However, compared to LSTM models, the heavy computational cost of the Transformer during inference is a key issue to prevent their applications. In this work, we explored the potential of Transformer Transducer (T-T) models for the fist pass decoding with low latency and fast speed on a large-scale dataset. We combine the idea of Transformer-XL and chunk-wise streaming processing to design a streamable Transformer Transducer model. We demonstrate that T-T outperforms the hybrid model, RNN Transducer (RNN-T), and streamable Transformer attention-based encoder-decoder model in the streaming scenario. Furthermore, the runtime cost and latency can be optimized with a relatively small look-ahead.

研究动机与目标

• 解决Transformer Transducer (T-T) 模型在流式语音识别中计算成本高和延迟大的问题。
• 在大规模数据集上实现实时推理，具备低延迟和高准确率。
• 在流式自动语音识别系统中平衡训练效率、运行时成本与模型性能。
• 克服现有流式方法的局限性，如时间受限掩码、分块处理和基于记忆的方法。

提出的方法

• 将Transformer-XL的循环机制与分块流式处理相结合，以限制上下文依赖性并减少延迟增长。
• 采用固定历史长度（例如60帧）以保持训练效率，并避免分块重叠。
• 引入较小的前瞻（例如24帧，720ms），以支持自然的分块解码并降低延迟。
• 采用混合架构，使用Transformer编码器和LSTM预测器，以平衡速度与准确率。
• 在32块V100 GPU上使用混合精度训练，两天内完成65,000小时的训练。
• 应用INT8量化以加速推理，尤其在CPU上，且WER下降极小。

实验结果

研究问题

• RQ1 流式Transformer Transducer模型是否能在大规模语音识别数据集上实现低延迟的实时推理？
• RQ2 将Transformer-XL与分块处理结合，如何提升T-T模型的延迟和计算效率？
• RQ3 在流式T-T和C-T模型中引入小前瞻时，延迟、推理速度与准确率之间的权衡关系如何？
• RQ4 INT8量化是否能显著加速CPU上的推理，且对流式T-T和C-T模型性能影响极小？

主要发现

• 在流式场景中，T-T和C-T相比混合模型、RNN-T以及流式Transformer AED模型，相对WER提升超过10%。
• 在360ms前瞻下，T-T在CPU上实现0.25的实时因子（RTF），满足工业级实时需求。
• T-T采用60帧历史和24帧前瞻，在4个线程下实现8.28% WER和0.16 RTF，准确率与效率均优于RNN-T。
• INT8量化使RNN-T推理速度提升3.6倍，T-T和C-T提升约2倍，且T-T的WER仅下降0.22%。
• 即使前瞻较小，模型仍保持接近离线性能（7.78% WER），表明与完整语音输入相比，准确率下降可忽略。