[论文解读] Attention-Based Models for Speech Recognition

Jan Chorowski, Dzmitry Bahdanau+3 more|arXiv (Cornell University)|Jun 24, 2015

Multimodal Machine Learning Applications参考文献 31被引用 1,780

一句话总结

本文提出了一种基于注意力机制的循环序列生成器，用于端到端语音识别，通过引入位置感知的卷积特征和归一化对齐机制来增强注意力机制。该模型在TIMIT数据集上实现了17.6%的音素错误率（PER），并能稳健地泛化到比训练数据长11倍的语音序列，优于基线模型，后者因位置追踪饱和而在长序列上失效。

ABSTRACT

Recurrent sequence generators conditioned on input data through an attention mechanism have recently shown very good performance on a range of tasks in- cluding machine translation, handwriting synthesis and image caption gen- eration. We extend the attention-mechanism with features needed for speech recognition. We show that while an adaptation of the model used for machine translation in reaches a competitive 18.7% phoneme error rate (PER) on the TIMIT phoneme recognition task, it can only be applied to utterances which are roughly as long as the ones it was trained on. We offer a qualitative explanation of this failure and propose a novel and generic method of adding location-awareness to the attention mechanism to alleviate this issue. The new method yields a model that is robust to long inputs and achieves 18% PER in single utterances and 20% in 10-times longer (repeated) utterances. Finally, we propose a change to the at- tention mechanism that prevents it from concentrating too much on single frames, which further reduces PER to 17.6% level.

研究动机与目标

• 开发一种基于注意力机制的序列生成的端到端可训练语音识别模型。
• 解决标准注意力机制在长语音输入上失效的问题，原因在于隐式的位置追踪。
• 通过引入位置感知注意力和对齐平滑机制，提升对长序列和噪声输入的鲁棒性。
• 通过归一化注意力机制防止对单帧的过度集中，从而提升性能。
• 在TIMIT音素识别基准上评估模型，涵盖标准和人工延长的语音序列。

提出的方法

• 提出一种混合注意力机制，将基于内容的注意力与通过卷积先前注意力权重得到的可学习滤波器生成的位置感知特征相结合。
• 对先前的对齐向量应用一维卷积滤波器，生成编码位置上下文的辅助特征。
• 采用经过softplus激活的点积运算实现归一化注意力机制，防止对单帧的过度集中。
• 在解码过程中使用对齐锐化技术（如窗口化和温度缩放）以提升强制对齐的质量。
• 使用反向传播通过时间（BPTT）和音素序列上的交叉熵损失进行端到端训练。
• 在TIMIT数据集上评估性能，涵盖原始和拼接（更长）的语音序列，以测试泛化能力。

实验结果

研究问题

• RQ1 基于注意力机制的序列生成器能否有效应用于长输入序列的语音识别？
• RQ2 为何标准注意力机制在短序列上表现良好，但在长语音输入上会失效？
• RQ3 如何通过引入位置感知能力使注意力机制对长序列更具鲁棒性？
• RQ4 通过归一化注意力机制防止对单帧过度集中，是否能提升识别准确率？
• RQ5 所提出的注意力机制能否泛化到远长于训练时见过的序列长度？

主要发现

• 基线模型在标准TIMIT测试集上达到18.7%的音素错误率（PER），但在更长的拼接语音序列上失败，原因在于隐式的位置追踪。
• 所提出的感知位置注意力机制将单个语音序列的PER降低至18.0%，并在11倍长的语音序列上保持PER低于20%。
• 引入归一化注意力机制后，PER进一步降低至17.6%，有效防止了对单个帧的过度集中。
• 采用卷积位置特征的模型成功对齐了长达200个音素的序列，而基线模型在约40个音素后即失效。
• 对齐锐化技术（如窗口化和温度缩放）显著提升了对齐质量，尤其对位置感知模型效果明显。
• 位置感知模型在重复语音序列上的表现优于拼接语音序列，表明其对多样化输入中无关帧存在敏感性。