[论文解读] E-Branchformer: Branchformer with Enhanced merging for speech recognition

Kwangyoun Kim, Felix F. Wu+5 more|arXiv (Cornell University)|Sep 30, 2022

Speech Recognition and Synthesis被引用 6

一句话总结

E-Branchformer 通过改进局部（卷积）与全局（自注意力）分支融合机制，将深度可分离卷积整合到 Branchformer 架构中，实现了无需外部数据的 SOTA WER，LibriSpeech test-clean 上为 1.81%，test-other 上为 3.65%。

ABSTRACT

Conformer, combining convolution and self-attention sequentially to capture both local and global information, has shown remarkable performance and is currently regarded as the state-of-the-art for automatic speech recognition (ASR). Several other studies have explored integrating convolution and self-attention but they have not managed to match Conformer's performance. The recently introduced Branchformer achieves comparable performance to Conformer by using dedicated branches of convolution and self-attention and merging local and global context from each branch. In this paper, we propose E-Branchformer, which enhances Branchformer by applying an effective merging method and stacking additional point-wise modules. E-Branchformer sets new state-of-the-art word error rates (WERs) 1.81% and 3.65% on LibriSpeech test-clean and test-other sets without using any external training data.

研究动机与目标

• 通过改进局部与全局上下文分支之间的融合机制，提升 Branchformer 架构的性能。
• 探究在混合卷积-自注意力模型中，添加轻量级模块（如深度可分离卷积）是否能提升性能。
• 在不使用任何外部训练数据的前提下，实现在 LibriSpeech 基准上的 SOTA 性能。
• 为未来研究提供所提出架构的可复现实现。
• 探索在端到端自动语音识别中，不同融合策略在结合局部与全局表征方面的有效性。

提出的方法

• 提出一种新型融合模块，在卷积分支与自注意力分支并行融合后应用深度可分离卷积。
• 在增强的融合模块后堆叠逐点前馈网络（FFNs），以进一步优化表征。
• 基于消融实验，选择 31 的卷积核大小以实现最佳性能。
• 采用多分支架构，使卷积分支与自注意力分支并行处理，并通过增强模块进行融合。
• 在整个编码器中应用残差连接与层归一化，以提升训练稳定性。
• 采用基于注意力的编码器-解码器框架进行训练与推理，与标准端到端 ASR 设置保持一致。

实验结果

研究问题

• RQ1 在卷积分支与自注意力分支之间采用更深层次的融合机制，是否能超越 Conformer 和 Branchformer 等现有模型，提升 ASR 性能？
• RQ2 在融合模块中加入深度可分离卷积，是否能在不增加计算成本的前提下提升局部上下文聚合能力？
• RQ3 深度可分离卷积中的不同卷积核大小如何影响 LibriSpeech 基准上的 WER？
• RQ4 在融合模块中添加 SE 模块或外部卷积模块等额外模块，对性能有何影响？
• RQ5 增强的融合机制是否可泛化至其他 ASR 框架（如 Transducer 或 CTC）？

主要发现

• E-Branchformer 在 LibriSpeech test-clean 上实现 1.81% 的新 SOTA WER，在 test-other 上为 3.65%，优于 Conformer 和 Branchformer，且无需外部数据。
• 与基线 Branchformer 相比，融合模块中加入深度可分离卷积使所有评估集的 WER 降低 0.1%–0.3%。
• 深度可分离卷积的核大小为 31 时性能最佳，与核大小 3 相比，test-other 上的 WER 绝对降低 0.16%。
• 在融合模块中添加多个深度可分离卷积或 SE 模块会导致性能下降或收益微乎其微，表明其增益有限。
• 将融合模块替换为 Conformer 风格的卷积模块会导致性能显著下降，表明存在架构不兼容性。
• 增强的融合模块在保持低计算成本（10.8 GFLOPs）的同时提升了准确率，展现出高效与有效兼顾的特性。