[论文解读] A Comparison of Label-Synchronous and Frame-Synchronous End-to-End Models for Speech Recognition

Linhao Dong, Yi Cheng+5 more|arXiv (Cornell University)|May 20, 2020

Speech Recognition and Synthesis参考文献 34被引用 16

一句话总结

本文在多个数据集上对比了标签同步（Transformer）和帧同步（CIF-based）端到端自动语音识别（ASR）模型，包括一个12,000小时的语料库。帧同步模型在推理速度上快4.4–6.8倍，且在长时、重复和噪声语音上表现出更优的泛化能力；而Transformer模型由于上下文利用更优，在标准基准测试中略胜一筹，准确率更高。

ABSTRACT

End-to-end models are gaining wider attention in the field of automatic speech recognition (ASR). One of their advantages is the simplicity of building that directly recognizes the speech frame sequence into the text label sequence by neural networks. According to the driving end in the recognition process, end-to-end ASR models could be categorized into two types: label-synchronous and frame-synchronous, each of which has unique model behaviour and characteristic. In this work, we make a detailed comparison on a representative label-synchronous model (transformer) and a soft frame-synchronous model (continuous integrate-and-fire (CIF) based model). The results on three public dataset and a large-scale dataset with 12000 hours of training data show that the two types of models have respective advantages that are consistent with their synchronous mode.

研究动机与目标

• 分析并比较标签同步与帧同步端到端ASR模型之间的性能权衡。
• 评估模型架构如何影响在长时、重复和噪声语音等挑战性条件下的推理速度、准确率与鲁棒性。
• 评估每类模型在多样化语音识别场景中的泛化能力。
• 根据延迟与鲁棒性等部署需求，为选择合适的端到端模型提供实用指导。

提出的方法

• 本研究以Transformer模型作为标签同步模型的代表，其基于解码器的自回归生成机制。
• 采用基于连续积分-放电（CIF）的模型作为软帧同步模型，该模型按顺序处理语音帧，并利用动态整合机制处理声学特征。
• 两种模型均采用编码器-解码器框架与自注意力网络（SAN），但在对齐策略上存在差异：Transformer采用注意力机制，CIF则采用帧感知整合机制。
• 模型在三个公开数据集及一个大规模12,000小时数据集上进行训练与评估，采用标准化测试集划分与指标（包括WER、推理速度与错误类型）。
• 特别构建了测试集以评估鲁棒性：长时语音（来自同一说话人的拼接）、重复语音（1×至4×）以及信噪比（SNR）为0–20 dB的噪声语音。
• 通过词错误率（WER）、删除/插入错误率以及输入长度增加时的推理时间变化，对性能进行分析。

实验结果

研究问题

• RQ1 在标准与挑战性测试集上，标签同步（Transformer）与帧同步（CIF-based）模型在词错误率（WER）方面有何差异？
• RQ2 输入长度对每类模型性能的影响如何，特别是在长时语音场景下？
• RQ3 重复语音如何影响每类模型的推理行为与错误模式？
• RQ4 在噪声条件下，两类模型的表现如何，这揭示了它们的鲁棒性特征？
• RQ5 模型架构与推理速度之间存在何种关系，这对实时应用有何影响？

主要发现

• Transformer模型在大多数标准数据集上取得略优的WER，例如在Librispeech test-clean上达到3.23%的WER，这得益于其能够关注广泛范围的声学帧。
• CIF-based模型的推理速度比Transformer快4.4–6.8倍，且推理时间随输入长度线性增长，而Transformer的时间呈二次方增长。
• 在长时语音中，Transformer的WER显著上升（例如在4× Librispeech上达50.50%），主要由于删除错误增加；而CIF-based模型保持性能稳定。
• 在重复语音中，Transformer在4× AISHELL-2上的WER飙升至152.92%，主要因解码器状态混淆导致插入错误；而CIF-based模型仅出现轻微退化（4×时为6.78%）。
• 在噪声语音中，两类模型的WER相近（≈18.2%），表明对噪声的鲁棒性相当，但CIF-based模型在不同SNR水平下表现出更优的一致性。
• CIF-based模型的性能稳定性归因于其逐帧处理机制以及在最后一帧的明确停止信号，避免了自回归模型中常见的解码器状态混淆问题。