[论文解读] CIF: Continuous Integrate-and-Fire for End-to-End Speech Recognition

Linhao Dong, Bo Xu|arXiv (Cornell University)|May 27, 2019

Speech Recognition and Synthesis参考文献 40被引用 6

一句话总结

本文提出连续积分-放电（CIF），一种新颖的软性且单调的注意力机制，用于端到端语音识别，其模拟脉冲神经网络的动力学行为。通过持续整合声学特征并在检测到边界时放电，CIF 实现了高效的在线推理和精确的声学边界定位，在 Librispeech test-clean 上实现了 2.86% 的新最先进词错误率（WER），在 HKUST 汉语电话语音识别任务上实现了 23.09% 的 CER。

ABSTRACT

In this paper, we propose a novel soft and monotonic alignment mechanism used for sequence transduction. It is inspired by the integrate-and-fire model in spiking neural networks and employed in the encoder-decoder framework consists of continuous functions, thus being named as: Continuous Integrate-and-Fire (CIF). Applied to the ASR task, CIF not only shows a concise calculation, but also supports online recognition and acoustic boundary positioning, thus suitable for various ASR scenarios. Several support strategies are also proposed to alleviate the unique problems of CIF-based model. With the joint action of these methods, the CIF-based model shows competitive performance. Notably, it achieves a word error rate (WER) of 2.86% on the test-clean of Librispeech and creates new state-of-the-art result on Mandarin telephone ASR benchmark.

研究动机与目标

• 为解决标准注意力机制在端到端语音识别中的局限性，如缺乏在线推理支持和帧同步对齐能力。
• 开发一种支持实时流式处理与声学边界检测的软性、单调对齐机制。
• 设计一种可微分的连续时间替代方案，用于离散积分-放电脉冲神经元，以实现序列转换。
• 通过新型支持策略（如缩放、数量损失和尾部处理）提升模型效率与对齐精度。

提出的方法

• CIF 对编码器表示在时间上的连续积分进行建模，膜电位根据输入权重和隐藏状态累积。
• 当累积值达到阈值时，生成一个“脉冲”，触发当前标签的声学信息输出，并将其分割用于下一个标签。
• 该机制使用连续函数模拟积分-放电过程，支持时间反向传播。
• 采用缩放策略在交叉熵训练期间调整标签目标长度不匹配问题。
• 引入数量损失以监督预测输出标记的数量。
• 采用尾部处理方法处理序列末端的残余信息，以提升对齐精度。

Fig. 1 : Illustration of the attention alignment and our proposed CIF alignment on an encoded utterance of length 5 and labelled as ”CAT”. The shade of gray in each square represents the weight of each encoder step involved in the calculation of decoding labels. The vertically dashed line in (b) rep

实验结果

研究问题

• RQ1 能否设计一种可微分的连续时间注意力机制，在保持高精度的同时支持在线语音识别？
• RQ2 如何将脉冲神经网络中的积分-放电原理适配到端到端语音识别中并支持反向传播？
• RQ3 需要哪些辅助训练策略以稳定并提升 CIF 模型的性能？
• RQ4 CIF 是否在自动语音识别与声学边界检测任务中均优于现有的单调与软性注意力机制？
• RQ5 CIF 是否能在包括朗读语音与非正式口语在内的多样化语音识别任务中实现良好泛化？

主要发现

• 基于 CIF 的模型在 Librispeech test-clean 数据集上实现了 2.86% 的新最先进词错误率（WER），超越了先前方法。
• 在 AISHELL-2 汉语朗读语音基准测试中，CIF 在 test_android 上达到 6.17% 的 CER，显著优于 Chain-TDNN 基线的 9.59%。
• 在更具挑战性的 HKUST 汉语电话对话数据集上，CIF 实现了 23.09% 的 CER，创下新 SOTA 记录，并优于 Transformer 和 Joint CTC-attention 模型。
• 消融实验表明，数量损失是最关键的组件，其移除导致性能最大降幅与训练不稳定性。
• 通过分块跳跃机制实现在线推理，模型在 test-clean 上实现 3.96% WER 的流式识别性能，证明了其实际可用性。
• 自回归解码器在边界清晰度较低的场景中最为关键，但在普通话等高清晰度场景中依然表现有效。

Fig. 2 : The architecture of our CIF-based model used for the ASR task. Operations in the dashed rectangles are only applied in the training stage. The switch (S) before the CIF module connects the left in the training stage and the right in the inference stage.