[论文解读] Emformer: Efficient Memory Transformer Based Acoustic Model For Low Latency Streaming Speech Recognition

Yangyang Shi, Yongqiang Wang+6 more|arXiv (Cornell University)|Oct 21, 2020

Speech Recognition and Synthesis参考文献 31被引用 13

一句话总结

本文提出 Emformer，一种用于低延迟流式语音识别的高效记忆增强型 Transformer 架构，通过键/值缓存和优化的记忆库传播减少计算量。Emformer 在平均延迟 960ms 下于 LibriSpeech test-clean 上实现 2.50% 的 SOTA WER，在 test-other 上实现 5.62% 的 WER，训练速度比 AM-TRF 快 4.6 倍，解码 RTF 降低 18%。

ABSTRACT

This paper proposes an efficient memory transformer Emformer for low latency streaming speech recognition. In Emformer, the long-range history context is distilled into an augmented memory bank to reduce self-attention's computation complexity. A cache mechanism saves the computation for the key and value in self-attention for the left context. Emformer applies a parallelized block processing in training to support low latency models. We carry out experiments on benchmark LibriSpeech data. Under average latency of 960 ms, Emformer gets WER $2.50\%$ on test-clean and $5.62\%$ on test-other. Comparing with a strong baseline augmented memory transformer (AM-TRF), Emformer gets $4.6$ folds training speedup and $18\%$ relative real-time factor (RTF) reduction in decoding with relative WER reduction $17\%$ on test-clean and $9\%$ on test-other. For a low latency scenario with an average latency of 80 ms, Emformer achieves WER $3.01\%$ on test-clean and $7.09\%$ on test-other. Comparing with the LSTM baseline with the same latency and model size, Emformer gets relative WER reduction $9\%$ and $16\%$ on test-clean and test-other, respectively.

研究动机与目标

• 解决因冗余左文上下文计算导致的流式 Transformer 计算成本高和训练慢的问题。
• 通过消除增强记忆 Transformer 中重复的注意力计算，降低流式 ASR 的延迟。
• 通过重新定义跨层的记忆库传播方式，实现低延迟模型的并行化块训练。
• 通过禁用摘要向量与记忆库之间的注意力机制，防止对远距离上下文过度强调，从而稳定训练过程。
• 在中等和低延迟约束下，实现在 LibriSpeech 上的 SOTA 性能。

提出的方法

• 引入键/值缓存机制，存储并重用先前片段的自注意力计算结果，消除左文上下文的冗余计算。
• 将记忆库传播方式从逐层传播改为深度传播，将低层的记忆库传递至高层，避免自回归瓶颈。
• 禁用摘要向量与记忆库之间的注意力机制，防止对长距离、可能噪声较大的上下文过度加权。
• 通过解耦记忆库依赖关系，实现训练过程中分块处理的并行化。
• 将输入序列按块划分为中心、左文和右文上下文块，以支持延迟可控的流式推理。
• 将模型集成至混合式与神经声学转换器 ASR 框架中，评估其在不同建模范式下的鲁棒性。

实验结果

研究问题

• RQ1 记忆增强型 Transformer 架构是否能在不损失 ASR 准确率的前提下，减少流式自注意力中的计算冗余？
• RQ2 通过支持并行块处理的架构改进，能否显著提升增强记忆 Transformer 的训练速度？
• RQ3 将记忆库传播方式从逐层改为深度传播，是否能提升训练稳定性和推理效率？
• RQ4 Emformer 是否能在低延迟约束（如 80ms）下实现 LibriSpeech 上的 SOTA WER，同时保持低解码 RTF？
• RQ5 在不同延迟设置下，Emformer 与 LCBLSTM 和 AM-TRF 等强基线相比，在 WER、训练速度和解码效率方面表现如何？

主要发现

• 在平均延迟 960ms 条件下，Emformer 在 LibriSpeech test-clean 上实现 2.50% 的 WER，在 test-other 上实现 5.62% 的 WER，分别比 AM-TRF 基线相对降低 17% 和 9%。
• 与 AM-TRF 相比，Emformer 将解码实时因子（RTF）降低 18%，在 960ms 延迟下实现 RTF 0.13。
• 由于训练过程中启用并行块处理，Emformer 的训练速度比 AM-TRF 快 4.6 倍。
• 在 80ms 平均延迟下，Emformer 在 test-clean 上实现 3.01% 的 WER，在 test-other 上实现 7.09% 的 WER，创下 LibriSpeech 上低延迟流式 ASR 的新 SOTA 记录。
• 与相同延迟和模型规模的 LSTM 基线相比，Emformer 在 test-clean 上将 WER 降低 9%，在 test-other 上降低 16%。
• 在 sMBR 训练下，Emformer 在 960ms 延迟下于 test-clean 上实现 2.50% 的 WER，在 test-other 上实现 5.62% 的 WER，展现出在不同模型架构下的强大泛化能力。