[论文解读] Phoneme recognition in TIMIT with BLSTM-CTC

Santiago Fernández, Alex Graves+1 more|ArXiv.org|Apr 21, 2008

Speech Recognition and Synthesis参考文献 13被引用 30

一句话总结

本文提出一种单一的BLSTM-CTC循环神经网络，用于在TIMIT数据集上的音素识别，采用前缀搜索解码方法，实现了24.58%的标签错误率（LER）——与依赖集成分类器的最先进系统性能相当。该方法通过使用联结时序分类（CTC）避免了对分割数据和显式对齐的需求，从而实现使用原始声学序列和音素标签的端到端训练。

ABSTRACT

We compare the performance of a recurrent neural network with the best results published so far on phoneme recognition in the TIMIT database. These published results have been obtained with a combination of classifiers. However, in this paper we apply a single recurrent neural network to the same task. Our recurrent neural network attains an error rate of 24.6%. This result is not significantly different from that obtained by the other best methods, but they rely on a combination of classifiers for achieving comparable performance.

研究动机与目标

• 评估单一循环神经网络结合CTC在TIMIT上实现端到端音素识别的性能。
• 将BLSTM-CTC模型的性能与使用多个分类器的最先进系统进行比较。
• 评估单一神经网络是否能够在无需数据分割或显式对齐的情况下，达到或超过复杂、委员会式系统的表现。
• 在标准的TIMIT划分和39个音素音位库下验证该方法。

提出的方法

• 双向长短期记忆（BLSTM）网络处理包含39维MFCC特征及其一阶和二阶差分系数的输入序列。
• 网络使用联结时序分类（CTC）作为目标函数，允许在无需帧级对齐的情况下进行端到端训练。
• 输出层生成40个单元：39个用于音素类别，1个用于空白符号，以建模可变长度的对齐。
• 应用前缀搜索解码以提升推理性能，采用较高的激活阈值（0.9999）以减少错误传播。
• 通过随机梯度下降进行训练，采用权重衰减、动量和输入噪声（σ = 0.6）进行正则化。
• 数据在训练集上按特征进行归一化，使用标准的TIMIT划分（3696个训练集，400个验证集，192个测试集）。

实验结果

研究问题

• RQ1 单一BLSTM-CTC网络是否能在TIMIT上实现与最先进音素识别系统相当的性能？
• RQ2 使用CTC是否能够实现有效的端到端训练，而无需分割数据或显式帧级标注？
• RQ3 前缀搜索解码与最佳路径解码相比，在降低错误率方面表现如何？
• RQ4 BLSTM-CTC模型的性能是否与Glass的委员会分类器或Deng等人提出的HTM-HMM系统存在显著差异？

主要发现

• BLSTM-CTC模型在使用前缀搜索解码时，实现了24.58%的标签错误率（LER），该结果与文献中报道的最佳结果无显著差异。
• 该模型的性能（24.58%）在统计上与Glass的委员会分类器（24.4%）和Deng等人提出的HTM-HMM系统（24.93%）无显著差异。
• 最佳路径解码的错误率更高，达到25.17%，表明前缀搜索解码能提升泛化能力和鲁棒性。
• BLSTM-CTC系统在统计上显著优于基线HMM模型（28.57% LER），p值小于3×10⁻⁸。
• 该模型在不依赖多个分类器、数据增强或复杂融合策略的情况下，实现了具有竞争力的性能。
• 结果表明，一个单一的、通过CTC进行端到端训练的循环网络，能够在TIMIT音素识别任务中达到复杂多组件系统的性能水平。