[论文解读] Efficient conformer-based speech recognition with linear attention

Shengqiang Li, Menglong Xu+1 more|arXiv (Cornell University)|Apr 14, 2021

Speech Recognition and Synthesis参考文献 22被引用 11

一句话总结

该论文提出了一种基于线性注意力的 Conformer 模型（LAC），这是一种轻量级、高效的自动语音识别模型。它用多头线性自注意力（MHLSA）替代了 Conformer 中计算复杂度为二次方的自注意力机制，将计算成本降低至线性时间，同时保持了性能。此外，该模型还对前馈网络应用了低秩分解，使参数量减少约50%，且准确率下降可忽略。LAC 在 LibriSpeech dev-clean 上实现了 2.1% 的 WER，在 test-other 上为 2.3%，参数量比 Conformer 减少 50%，训练速度提升 1.23 倍。

ABSTRACT

Recently, conformer-based end-to-end automatic speech recognition, which outperforms recurrent neural network based ones, has received much attention. Although the parallel computing of conformer is more efficient than recurrent neural networks, the computational complexity of its dot-product self-attention is quadratic with respect to the length of the input feature. To reduce the computational complexity of the self-attention layer, we propose multi-head linear self-attention for the self-attention layer, which reduces its computational complexity to linear order. In addition, we propose to factorize the feed forward module of the conformer by low-rank matrix factorization, which successfully reduces the number of the parameters by approximate 50% with little performance loss. The proposed model, named linear attention based conformer (LAC), can be trained and inferenced jointly with the connectionist temporal classification objective, which further improves the performance of LAC. To evaluate the effectiveness of LAC, we conduct experiments on the AISHELL-1 and LibriSpeech corpora. Results show that the proposed LAC achieves better performance than 7 recently proposed speech recognition models, and is competitive with the state-of-the-art conformer. Meanwhile, the proposed LAC has a number of parameters of only 50% over the conformer with faster training speed than the latter.

研究动机与目标

• 降低 Conformer 在端到端语音识别中自注意力机制的二次方计算复杂度。
• 在不显著降低性能的前提下减少模型大小和训练成本。
• 提升基于 Conformer 的自动语音识别系统在低资源或实时部署场景下的效率与可扩展性。
• 探究多头线性自注意力与低秩分解在语音识别序列建模中的有效性。

提出的方法

• 提出多头线性自注意力（MHLSA），作为点积自注意力的线性复杂度替代方案，避免了相关矩阵的计算。
• 在编码器和解码器中的前馈网络中应用低秩矩阵分解，使参数量减少约 50%。
• 在联合训练和推理过程中引入连接时序分类（CTC）损失，以提升自动语音识别性能。
• 使用带有下采样的 CNN 前端以减少序列长度，随后堆叠 LAC 编码器和解码器。
• 在 MHLSA 模块中采用相对位置编码，以保留序列顺序信息。
• 通过联合 CTC 训练与推理来提升对齐效果和模型鲁棒性。

实验结果

研究问题

• RQ1 多头线性自注意力能否在保持线性复杂度和相近性能的前提下，有效替代 Conformer 中的点积自注意力？
• RQ2 低秩分解在 Conformer 中能将参数量减少到何种程度，而不会显著降低自动语音识别的准确率？
• RQ3 联合 CTC 训练是否能提升基于线性注意力的 Conformer 模型性能？
• RQ4 与当前最先进的 Conformer 及其他近期自动语音识别模型相比，所提出的 LAC 模型在准确率、速度和参数效率方面表现如何？

主要发现

• 在 AISHELL-1 测试集上，LAC 实现了 5.02% 的字符错误率（CER），优于 7 个近期模型，接近 Conformer 的 4.88%。
• 在 LibriSpeech 上，LAC 在 dev-clean 上达到 2.1% 的 WER，在 test-other 上为 2.3%，性能与完整 Conformer 模型相当。
• 在 AISHELL-1 上，模型参数量仅为 22.83M，在 LibriSpeech 上为 23.47M，相比 Conformer 减少了约 50%。
• 由于采用线性注意力和参数量减少，LAC 在 AISHELL-1 上训练速度比原始 Conformer 快 1.23 倍，在 LibriSpeech 上快 1.18 倍。
• 消融实验证实，MHLSA 将复杂度从 O(T²) 降低至 O(T)，同时保持性能；低秩分解使参数量减少约 50%，且准确率损失可忽略。
• 在 AISHELL-1 上，瓶颈维度（d_bn）为 100 时，在开发集上实现 4.73% 的 CER，在测试集上为 5.02%，达到模型大小与性能的最佳平衡。