[论文解读] Efficient Conformer with Prob-Sparse Attention Mechanism for End-to-EndSpeech Recognition

Xiong Wang, Sining Sun+2 more|arXiv (Cornell University)|Jun 17, 2021

Speech Recognition and Synthesis参考文献 19被引用 5

一句话总结

该论文提出了一种概率稀疏自注意力机制，用于Conformer Transducer模型，以加速端到端自动语音识别中的推理过程并降低内存使用。通过使用Kullback-Leibler散度识别并仅保留最具信息量的查询，该方法在LibriSpeech和AISHELL-1数据集上实现了8%–45%的推理速度提升以及15%–45%的内存消耗降低，同时未降低自动语音识别（ASR）的准确率。

ABSTRACT

End-to-end models are favored in automatic speech recognition (ASR) because of their simplified system structure and superior performance. Among these models, Transformer and Conformer have achieved state-of-the-art recognition accuracy in which self-attention plays a vital role in capturing important global information. However, the time and memory complexity of self-attention increases squarely with the length of the sentence. In this paper, a prob-sparse self-attention mechanism is introduced into Conformer to sparse the computing process of self-attention in order to accelerate inference speed and reduce space consumption. Specifically, we adopt a Kullback-Leibler divergence based sparsity measurement for each query to decide whether we compute the attention function on this query. By using the prob-sparse attention mechanism, we achieve impressively 8% to 45% inference speed-up and 15% to 45% memory usage reduction of the self-attention module of Conformer Transducer while maintaining the same level of error rate.

研究动机与目标

• 解决Conformer模型在长语音序列中自注意力机制带来的高计算与内存开销问题。
• 通过识别并剪枝信息量低的查询，减少自注意力中的冗余计算。
• 在显著提升推理效率的同时，保持最先进的ASR性能。
• 探索跨层共享稀疏性度量，以最小化额外计算开销。

提出的方法

• 该方法引入了一种概率稀疏自注意力机制，利用Kullback-Leibler散度度量查询的稀疏性，并识别出注意力分布非均匀的查询。
• 仅保留其注意力得分与均匀分布显著偏离的查询进行计算，从而有效稀疏化注意力矩阵。
• 稀疏性阈值由超参数 $ r_{sparse} $ 控制，该参数根据查询的稀疏性得分决定保留的查询比例。
• 在层间共享稀疏性度量，即每 $ N_{share} $ 层计算一次度量并重复使用，以减少计算量。
• 该方法被集成到Conformer Transducer架构中，替换编码器模块中的标准自注意力机制。
• 在LibriSpeech和AISHELL-1数据集上进行训练与评估，并对稀疏性与共享参数进行了消融实验。

Figure 1: Architecture of Conformer Transducer.

实验结果

研究问题

• RQ1 基于注意力分布熵的可学习稀疏性准则是否能在不降低ASR准确率的前提下提升推理效率？
• RQ2 稀疏性阈值 $ r_{sparse} $ 的选择如何影响识别性能与效率？
• RQ3 在多层之间共享稀疏性度量的程度有多大，能否有效降低计算开销？
• RQ4 该概率稀疏机制是否能在包括LibriSpeech和AISHELL-1在内的多样化语音识别基准上保持性能？

主要发现

• 概率稀疏注意力机制在Conformer Transducer模型中，针对不同序列长度实现了8%至45%的推理速度提升。
• 与标准Conformer相比，自注意力模块的内存使用量降低了15%至45%。
• 当 $ r_{sparse} $ 设置在0.35至0.5之间时，模型在AISHELL-1和LibriSpeech数据集上的词错误率（CER）/字错误率（WER）与基线模型保持一致。
• 采用 $ N_{share} = 4 $ 的稀疏性度量共享机制，计算量减少4倍，且CER无明显下降；即使 $ N_{share} = 8 $，CER也仅增加0.1%。
• 该方法在不同数据集上均表现稳健，在AISHELL-1和LibriSpeech上均展现出一致的性能提升，包括更大的LibriSpeech语料库。
• 随着序列长度的增加，效率提升更加显著，使该方法在长时语音识别任务中尤为有益。

Figure 2: Relationship between CER and $r_{sparse}$ values on AISHELL-1 test set.