[论文解读] Efficient conformer: Progressive downsampling and grouped attention for automatic speech recognition

Maxime Burchi, Valentin Vielzeuf|arXiv (Cornell University)|Aug 31, 2021

Speech Recognition and Synthesis被引用 5

一句话总结

该论文提出 Efficient Conformer，一种经过优化的自动语音识别（ASR）架构，通过渐进式下采样和分组注意力机制降低计算复杂度。通过应用分组注意力将自注意力复杂度从 O(n²d) 降低至 O(n²d/g)，并采用步长大于1的多头注意力实现全局下采样，该模型在参数量为13M的条件下，相较于标准 Conformer 模型，实现了29%的推理加速和36%的训练加速，同时在 LibriSpeech test-clean/test-other 上保持了2.7%/6.7%的竞争力词错误率（WER）。

ABSTRACT

The recently proposed Conformer architecture has shown state-of-the-art performances in Automatic Speech Recognition by combining convolution with attention to model both local and global dependencies. In this paper, we study how to reduce the Conformer architecture complexity with a limited computing budget, leading to a more efficient architecture design that we call Efficient Conformer. We introduce progressive downsampling to the Conformer encoder and propose a novel attention mechanism named grouped attention, allowing us to reduce attention complexity from $O(n^{2}d)$ to $O(n^{2}d / g)$ for sequence length $n$, hidden dimension $d$ and group size parameter $g$. We also experiment the use of strided multi-head self-attention as a global downsampling operation. Our experiments are performed on the LibriSpeech dataset with CTC and RNN-Transducer losses. We show that within the same computing budget, the proposed architecture achieves better performances with faster training and decoding compared to the Conformer. Our 13M parameters CTC model achieves competitive WERs of 3.6%/9.0% without using a language model and 2.7%/6.7% with an external n-gram language model on the test-clean/test-other sets while being 29% faster than our CTC Conformer baseline at inference and 36% faster to train.

研究动机与目标

• 为在资源受限环境中高效部署，降低 Conformer 架构的计算复杂度。
• 解决因早期编码器阶段序列长度过长而导致的注意力层计算不对称问题。
• 在有限的 GPU 预算（4× RTX 2080 Ti）下，降低模型推理与训练时间的同时保持高 ASR 性能。
• 探索可扩展性强、能有效降低内存使用量的高效注意力机制。
• 在 LibriSpeech 数据集上，通过 CTC 和 RNN-Transducer 损失评估渐进式下采样与注意力变体的有效性。

提出的方法

• 在 Conformer 编码器中引入渐进式下采样，在三个阶段中将序列长度整体减少8倍。
• 提出分组注意力机制，通过沿特征维对相邻时间步进行分组，将自注意力复杂度从 O(n²d) 降低至 O(n²d/g)。
• 采用步长大于1的多头自注意力作为全局下采样操作，替代部分配置中的卷积下采样。
• 在序列长度最长的早期编码器阶段应用分组注意力，以缓解计算瓶颈。
• 通过消融实验评估分组大小、注意力感受野大小及注意力变体在准确率与效率方面的表现。
• 在4张GPU的训练预算下，使用 CTC 和 RNN-Transducer 目标函数在 LibriSpeech 上训练模型。

实验结果

研究问题

• RQ1 渐进式下采样是否能在不损失识别准确率的前提下，有效降低基于 Conformer 的 ASR 模型的计算成本？
• RQ2 分组注意力如何在长序列上下文中降低自注意力复杂度，同时保持性能？
• RQ3 用步长大于1的多头自注意力替代卷积下采样，是否能实现相当或更优的性能并降低延迟？
• RQ4 在编码器各阶段中，分组注意力的最优分组大小为何？其在速度-准确率权衡中表现如何？
• RQ5 在推理速度与识别性能方面，局部注意力与分组注意力相比表现如何？

主要发现

• 13M 参数的 Efficient Conformer CTC 模型在 LibriSpeech test-clean 上达到 2.7% 的 WER，在 test-other 上达到 6.7% 的 WER（使用外部 n-gram 语言模型），性能达到当前最先进水平。
• 在相同 4-GPU 预算下，该模型相较于标准 Conformer 基线，推理时间减少 29%，训练时间减少 36%。
• 仅在第一阶段应用分组注意力即可实现 21% 的推理加速和 35% 的训练加速，且性能无下降。
• 在全部三个阶段均使用分组注意力可使推理速度提升 29%，训练速度提升 41%，但因注意力上下文减少，导致 WER 略有上升（test-other 上为 3.56%）。
• 使用 175 窗口的局部注意力与全注意力性能相近，但因序列填充开销导致更慢，凸显了分组注意力在效率上的优势。
• 由于更优地处理序列分块并减少计算开销，分组注意力在内存效率和推理速度方面优于局部注意力，尤其在长序列场景下优势显著。