[论文解读] Global Normalization for Streaming Speech Recognition in a Modular Framework

Ehsan Variani, Ke Wu+4 more|arXiv (Cornell University)|May 26, 2022

Speech Recognition and Synthesis被引用 6

一句话总结

本文提出全局归一化自回归转换器（GNAT），一种流式语音识别模型，通过有限上下文建模实现精确、可计算的序列级归一化，消除了标签偏差。GNAT在Librispeech数据集上将流式与非流式模型之间的词错误率（WER）差距减少了50%以上，实现了接近非流式模型的性能，同时具备高效、适合加速器的推理与训练能力。

ABSTRACT

We introduce the Globally Normalized Autoregressive Transducer (GNAT) for addressing the label bias problem in streaming speech recognition. Our solution admits a tractable exact computation of the denominator for the sequence-level normalization. Through theoretical and empirical results, we demonstrate that by switching to a globally normalized model, the word error rate gap between streaming and non-streaming speech-recognition models can be greatly reduced (by more than 50\% on the Librispeech dataset). This model is developed in a modular framework which encompasses all the common neural speech recognition models. The modularity of this framework enables controlled comparison of modelling choices and creation of new models.

研究动机与目标

• 解决流式与非流式自动语音识别（ASR）模型之间长期存在的词错误率（WER）差距问题。
• 缓解局部归一化流式模型固有的标签偏差问题，此类模型将预测限制在局部概率分布中。
• 开发一种全局归一化的ASR模型，实现在有限上下文约束下的精确、可计算的序列级归一化。
• 设计一个模块化框架，统一常见ASR模型（如CTC、RNN-T、LAS），并支持新型全局归一化变体的构建。
• 实现在流式设置下全局归一化模型的高效、适合加速器的训练与推理。

提出的方法

• 提出全局归一化自回归转换器（GNAT），一种新型模型架构，用全局序列级归一化替代局部归一化。
• 引入有限上下文假设，使全局归一化的分母可在多项式时间内计算，从而实现精确推理。
• 使用帧相关的对齐图谱与上下文相关的权重函数，建模帧间依赖关系，同时保持计算可处理性。
• 设计模块化框架，抽象模型组件（如编码器、预测器、联合网络），以支持不同建模选择的即插即用式集成。
• 实现高效的解码算法，包括最大路径（max-path）与求和路径（sum-path）变体，并针对全局归一化模型调整剪枝启发式策略。
• 通过约束对齐路径熵来限制训练目标，以偏好单路径概率分布，降低对求和路径解码的依赖。

实验结果

研究问题

• RQ1 全局归一化能否显著缩小流式与非流式ASR模型之间的WER差距？
• RQ2 在有限上下文约束下，流式设置中精确、可计算的全局归一化是否可行？
• RQ3 与局部归一化相比，全局归一化在缓解标签偏差与WER性能方面表现如何？
• RQ4 模块化框架能否统一现有ASR模型，并支持对新型全局归一化变体的系统性探索？
• RQ5 在流式ASR中使用全局归一化时，对训练与推理效率的实际影响是什么？

主要发现

• GNAT在Librispeech测试集（test-clean）上将流式与非流式ASR模型之间的WER差距减少了50%以上。
• 采用最大路径解码时，全局归一化模型在Librispeech test-clean上的WER达到3.8%，相对于非流式基线模型缩小了近50%的差距。
• 在1-gram与2-gram上下文依赖条件下，全局归一化的流式模型相比局部归一化模型，WER相对降低20–21%。
• 在2-gram上下文设置中，共享RNN架构优于共享嵌入变体，表明其在学习共享状态结构方面更具优势。
• 求和路径解码相比最大路径解码进一步提升了WER，表明通过优化全局归一化推理，仍有进一步性能提升空间。
• 模块化框架支持对建模选择的受控比较，并促进新型全局归一化ASR模型的构建。