[论文解读] Acoustic-to-Word Recognition with Sequence-to-Sequence Models

Shruti Palaskar, Florian Metze|arXiv (Cornell University)|Jul 23, 2018

Speech Recognition and Synthesis参考文献 3被引用 7

一句话总结

该论文提出了一种端到端的声学到词（A2W）序列到序列（S2S）模型，直接将语音映射为词汇，无需词典或语言模型，采用基于注意力机制的编码器-解码器网络。该模型在Switchboard数据集（300小时）上实现了4.4–5.0%的词错误率（WER）绝对降低，并在极少监督下学会将语音分割为词汇、静音和非静音部分，通过注意力机制和隐藏状态分析生成可解释的语音-词向量。

ABSTRACT

Acoustic-to-Word recognition provides a straightforward solution to end-to-end speech recognition without needing external decoding, language model re-scoring or lexicon. While character-based models offer a natural solution to the out-of-vocabulary problem, word models can be simpler to decode and may also be able to directly recognize semantically meaningful units. We present effective methods to train Sequence-to-Sequence models for direct word-level recognition (and character-level recognition) and show an absolute improvement of 4.4-5.0\% in Word Error Rate on the Switchboard corpus compared to prior work. In addition to these promising results, word-based models are more interpretable than character models, which have to be composed into words using a separate decoding step. We analyze the encoder hidden states and the attention behavior, and show that location-aware attention naturally represents words as a single speech-word-vector, despite spanning multiple frames in the input. We finally show that the Acoustic-to-Word model also learns to segment speech into words with a mean standard deviation of 3 frames as compared with human annotated forced-alignments for the Switchboard corpus.

研究动机与目标

• 实现无需词典、语言模型或子词单元的直接端到端声学到词语音识别。
• 使用具有大词汇量的序列到序列模型，在Switchboard语料库上提升词错误率（WER）表现。
• 通过分析编码器隐藏状态和注意力行为，研究模型的可解释性。
• 证明模型无需显式监督即可学会将语音分割为词汇和停顿。
• 从模型内部表示中提取有意义且语义一致的语音-词向量。

提出的方法

• 采用基于注意力机制的序列到序列（S2S）模型，编码器使用双向LSTM，解码器使用单向LSTM，实现端到端的声学到词映射。
• 使用词级转录本和话语级对齐进行模型训练，避免强制对齐或语言模型重打分。
• 采用位置感知注意力机制，实现可变长度语音片段与词输出之间的灵活对齐，避免CTC方法的单调性约束。
• 通过分析编码器隐藏状态，识别对应于静音（稳定水平线）、语音（扰动）和词边界（隐藏单元间垂直虚线模式）的模式。
• 从编码器最终隐藏状态中提取语音-词向量，利用t-SNE和最近邻分析评估嵌入质量。
• 在Switchboard语料库上使用30,000个词汇量，不使用子词单元或OOV处理，完全依赖模型的泛化能力。

实验结果

研究问题

• RQ1 序列到序列模型是否能在无需词典或语言模型的情况下，在声学到词语音识别中实现最先进性能？
• RQ2 模型是否能在无显式监督的情况下学会将语音分割为词汇和停顿？
• RQ3 模型的注意力机制和隐藏状态是否能跨多个帧将词汇表示为连贯且稳定的语音-词向量？
• RQ4 在分割准确性方面，模型学习到的语音-词向量与人工标注的对齐结果相比如何？
• RQ5 模型的内部表示（如嵌入）是否能将语义相似的词汇聚类在一起？

主要发现

• 所提出的A2W S2S模型在Switchboard语料库上相比先前工作实现了4.4–5.0%的词错误率（WER）绝对降低，尽管仅使用300小时训练数据。
• 模型通过识别编码器隐藏状态中的稳定水平线（静音）、扰动（语音）和垂直虚线模式（词边界），学会将语音分割为词汇、静音和非静音部分。
• 模型预测的词边界平均标准差为3帧（与人工强制对齐相比），表明分割精度较高。
• t-SNE可视化和最近邻搜索显示，语音-词向量将语义相似的词汇聚类在一起，证实了学习到的嵌入质量。
• 模型生成了可解释的语音-词向量，能将整个词汇表示为单一的320D向量，即使跨越多个声学帧。
• 位置感知注意力机制实现了可变长度语音片段与词输出之间的灵活对齐，在非正式语音场景下优于单调的CTC方法。