[论文解读] Exploring Transformers for Large-Scale Speech Recognition

Liang Lu, Changliang Liu+2 more|arXiv (Cornell University)|May 19, 2020

Speech Recognition and Synthesis参考文献 25被引用 14

一句话总结

本文研究了使用Transformer进行大规模语音识别，表明在65,000小时训练数据下，深度Transformer模型在离线设置中相比BLSTM实现了6%的相对WER降低。在流式场景中，Transformer-XL在800ms延迟约束下达到与LC-BLSTM相当的性能，克服了标准注意力掩码流式Transformer的局限性。

ABSTRACT

While recurrent neural networks still largely define state-of-the-art speech recognition systems, the Transformer network has been proven to be a competitive alternative, especially in the offline condition. Most studies with Transformers have been constrained in a relatively small scale setting, and some forms of data argumentation approaches are usually applied to combat the data sparsity issue. In this paper, we aim at understanding the behaviors of Transformers in the large-scale speech recognition setting, where we have used around 65,000 hours of training data. We investigated various aspects on scaling up Transformers, including model initialization, warmup training as well as different Layer Normalization strategies. In the streaming condition, we compared the widely used attention mask based future context lookahead approach to the Transformer-XL network. From our experiments, we show that Transformers can achieve around 6% relative word error rate (WER) reduction compared to the BLSTM baseline in the offline fashion, while in the streaming fashion, Transformer-XL is comparable to LC-BLSTM with 800 millisecond latency constraint.

研究动机与目标

• 评估在65,000小时训练数据下Transformer在大规模语音识别中的表现。
• 解决在64个GPU上扩展Transformer的挑战，包括模型初始化和预热训练。
• 在延迟约束下，将流式Transformer变体（注意力掩码和Transformer-XL）与LC-BLSTM进行比较。
• 研究模型深度、宽度以及归一化策略对识别准确率的影响。
• 理解流式Transformer相比离线模型表现较差的原因，并提出有效的解决方案。

提出的方法

• 使用数据并行性在最多64个GPU上训练深度Transformer，采用同步批量归一化和梯度裁剪。
• 采用深度缩放初始化和学习率预热策略，以稳定深度模型的训练。
• 使用多头自注意力机制，采用缩放点积注意力：$\text{Attention}(Q,K,V) = \text{Softmax}(\frac{QK^T}{\sqrt{d_k}})V$。
• 在流式Transformer中引入交错卷积层，以保持序列的单调性，减轻自注意力机制引起的顺序重排影响。
• 实现Transformer-XL，通过保留前一区块隐藏状态的持久记忆，实现上下文范围为$[-40,40]$的长距离建模。
• 采用上下文窗口约束：离线为$[-\infty,\infty]$，流式为$[-40,40]$，LC-BLSTM基线为$[-1,40]$。

实验结果

研究问题

• RQ1 在65,000小时数据下，Transformer能否在大规模语音识别中超越BLSTM？
• RQ2 在大规模设置中，跨多个GPU扩展深度Transformer所必需的训练技术有哪些？
• RQ3 为何标准注意力掩码流式Transformer的表现劣于离线模型，如何缓解这一问题？
• RQ4 在严格延迟约束下，Transformer-XL与LC-BLSTM在流式语音识别中的表现如何比较？
• RQ5 模型深度和宽度对离线和流式场景下识别准确率的影响是什么？

主要发现

• 离线Transformer在模型规模相近的情况下，相比BLSTM基线实现了6%的相对WER降低。
• 在流式设置中，Transformer-XL在评估集上达到12.2的WER，与800ms延迟约束下的LC-BLSTM性能相当。
• 未使用交错卷积层的注意力掩码流式Transformer相比离线模型，WER下降了18%–25%。
• 交错卷积层通过保持输入序列的单调性，降低了流式Transformer中的WER损失。
• 更深的Transformer（最多48层）仅带来微小提升，表明存在过拟合或需要更强的正则化。
• 48层的Transformer-XL在开发集上达到18.5的WER，表明通过更好的正则化仍有进一步提升空间。