[论文解读] End-to-end Continuous Speech Recognition using Attention-based Recurrent NN: First Results

Jan Chorowski, Dzmitry Bahdanau+2 more|arXiv (Cornell University)|Dec 4, 2014

Speech Recognition and Synthesis参考文献 23被引用 415

一句话总结

该论文提出了一种基于注意力机制的双向RNN编码器-解码器端到端连续语音识别模型，直接预测音素而无需显式对齐。在TIMIT数据集上，该模型取得了18.57%的音素错误率，与最先进的HMM系统性能相当，且在贪婪解码和极少调参条件下仍表现出稳健性能。

ABSTRACT

We replace the Hidden Markov Model (HMM) which is traditionally used in in continuous speech recognition with a bi-directional recurrent neural network encoder coupled to a recurrent neural network decoder that directly emits a stream of phonemes. The alignment between the input and output sequences is established using an attention mechanism: the decoder emits each symbol based on a context created with a subset of input symbols elected by the attention mechanism. We report initial results demonstrating that this new approach achieves phoneme error rates that are comparable to the state-of-the-art HMM-based decoders, on the TIMIT dataset.

研究动机与目标

• 开发一种端到端语音识别系统，避免传统HMM系统中对帧级对齐的依赖。
• 探究在RNN编码器-解码器框架中，注意力机制是否能有效学习输入输出对齐关系以实现连续语音识别。
• 在不依赖强制对齐或混合HMM-DNN训练的情况下，评估基于注意力机制的RNN模型在TIMIT音素识别基准上的性能。
• 证明该模型对解码策略具有鲁棒性，即使在使用贪婪搜索时也能表现良好，且易于实现与调优。

提出的方法

• 使用双向RNN编码器处理整个输入声学序列，生成上下文感知的隐藏状态。
• 采用单向RNN解码器，逐个生成输出音素，其条件由基于编码器状态注意力计算出的上下文向量决定。
• 应用注意力机制，根据解码器状态与每个编码器状态之间的兼容性得分，计算编码器隐藏状态的加权和。
• 采用软注意力机制，其中上下文向量是所有编码器状态的加权平均，权重由兼容性函数确定。
• 通过自适应阈值化实现梯度重标度，以稳定训练，利用梯度范数的移动平均动态调整缩放系数。
• 采用窄束宽（如10）的束搜索解码，在GTX480 GPU上实现0.3的实时因子。

实验结果

研究问题

• RQ1 基于注意力机制的RNN编码器-解码器模型是否能在无需显式帧级对齐的情况下实现具有竞争力的音素识别性能？
• RQ2 所提出的端到端模型在TIMIT数据集上的性能与最先进的HMM混合系统相比如何？
• RQ3 当使用贪婪解码而非束搜索时，该模型的性能退化程度如何？
• RQ4 该模型是否能在无需HMM-DNN系统中常见的复杂多阶段训练流程的情况下，实现高效训练与调优？
• RQ5 在存在停顿等语音不规则性的情况下，注意力机制在识别每个输出音素相关输入帧方面的有效性如何？

主要发现

• 该模型在TIMIT测试集上实现了18.57%的音素错误率，与最先进的HMM系统性能相当。
• 该模型在贪婪解码下的表现几乎与束搜索相当，表明其具有高度鲁棒性，且对解码策略不敏感。
• 实时解码是可行的，在GTX480 GPU上使用束宽为10时实现了0.3的实时因子。
• 该模型所需调优极少，且在一个月内完成实现与训练，展现出良好的可部署性。
• 注意力机制使模型能够学习预期的输入-输出距离，有助于区分相似的输入帧，提升对齐准确性。
• 采用自适应阈值化的梯度重标度显著提升了训练稳定性，尤其在训练后期效果明显。