[论文解读] Attentive batch normalization for lstm-based acoustic modeling of speech recognition

Fenglin Ding, Wu Guo+2 more|arXiv (Cornell University)|Jan 1, 2020

Speech Recognition and Synthesis参考文献 20被引用 5

一句话总结

本文提出了一种用于自动语音识别中基于LSTM的声学模型的增强型批量归一化技术——注意力批量归一化（Attentive Batch Normalization, ABN）。通过使用带有注意力机制的辅助网络，动态生成批量归一化参数，ABN提升了训练稳定性与识别准确率，在普通话和维吾尔语语音识别任务中相比标准批量归一化取得了显著性能提升。

ABSTRACT

Batch normalization (BN) is an effective method to accelerate model training and improve the generalization performance of neural networks. In this paper, we propose an improved batch normalization technique called attentive batch normalization (ABN) in Long Short Term Memory (LSTM) based acoustic modeling for automatic speech recognition (ASR). In the proposed method, an auxiliary network is used to dynamically generate the scaling and shifting parameters in batch normalization, and attention mechanisms are introduced to improve their regularized performance. Furthermore, two schemes, frame-level and utterance-level ABN, are investigated. We evaluate our proposed methods on Mandarin and Uyghur ASR tasks, respectively. The experimental results show that the proposed ABN greatly improves the performance of batch normalization in terms of transcription accuracy for both languages.

研究动机与目标

• 解决标准批量归一化在基于LSTM的语音识别声学模型中的局限性。
• 提升低资源和复杂语音识别场景下的模型泛化能力与训练收敛性。
• 探索利用辅助网络与注意力机制实现批量归一化参数的动态自适应。
• 评估帧级与话语级ABN方案在多样化语言语音识别任务中的有效性。

提出的方法

• 引入一个辅助网络，以注意力增强的方式预测批量归一化中的缩放与偏移参数。
• 应用注意力机制，聚焦于生成归一化参数时的相关上下文特征，从而提升正则化效果。
• 提出两种变体：帧级ABN（按时间步计算参数）与话语级ABN（利用整个序列的全局上下文）。
• 注意力模块关注LSTM的隐藏状态，以动态地提供自适应批量归一化参数。
• 该方法可无缝集成至标准LSTM声学模型中，无需架构重构，实现即插即用的性能提升。
• 辅助网络与主语音识别模型端到端联合训练，采用反向传播进行优化。

实验结果

研究问题

• RQ1 注意力机制能否提升基于LSTM的声学模型中批量归一化的适应性与性能？
• RQ2 帧级与话语级ABN方案在识别准确率与训练稳定性方面表现如何比较？
• RQ3 ABN是否在多样化的低资源与高资源语音识别任务中均能实现一致的性能提升？
• RQ4 通过辅助网络实现的动态参数生成是否优于固定的批量归一化统计量？

主要发现

• ABN在普通话语音识别中显著提升了转录准确率，优于标准批量归一化。
• 所提方法在维吾尔语语音识别中也取得了显著性能增益，证明其在低资源场景下的有效性。
• 帧级与话语级ABN方案均提升了模型性能，其中话语级ABN展现出更强的正则化效果。
• 注意力增强的辅助网络实现了更鲁棒且上下文感知的归一化参数生成。
• 消融实验证实，注意力机制与动态参数生成是性能提升的关键因素。