[论文解读] Learning to retrieve out-of-vocabulary words in speech recognition

Imran Sheikh, Irina Illina+2 more|arXiv (Cornell University)|Nov 17, 2015

Natural Language Processing Techniques参考文献 28被引用 5

一句话总结

该论文提出了两种神经网络模型——D-CBOW 和 D-CBOW2——通过利用 LVCSR 转录文本中的语义上下文，改进了语音识别中未登录词（OOV）专有名称的检索。D-CBOW2 模型引入了上下文锚点层，以动态加权输入词，增强对特定任务关键词的关注。在法语广播新闻数据上的实验表明，这些模型优于 LDA、Skip-gram 和 Paragraph Vector 基线模型，其中 D-CBOW2+ 在使用前 8 个 OOV 专有名称进行恢复时，F1 分数达到 0.34。

ABSTRACT

Many Proper Names (PNs) are Out-Of-Vocabulary (OOV) words for speech recognition systems used to process diachronic audio data. To help recovery of the PNs missed by the system, relevant OOV PNs can be retrieved out of the many OOVs by exploiting semantic context of the spoken content. In this paper, we propose two neural network models targeted to retrieve OOV PNs relevant to an audio document: (a) Document level Continuous Bag of Words (D-CBOW), (b) Document level Continuous Bag of Weighted Words (D-CBOW2). Both these models take document words as input and learn with an objective to maximise the retrieval of co-occurring OOV PNs. With the D-CBOW2 model we propose a new approach in which the input embedding layer is augmented with a context anchor layer. This layer learns to assign importance to input words and has the ability to capture (task specific) key-words in a bag-of-word neural network model. With experiments on French broadcast news videos we show that these two models outperform the baseline methods based on raw embeddings from LDA, Skip-gram and Paragraph Vectors. Combining the D-CBOW and D-CBOW2 models gives faster convergence during training.

研究动机与目标

• 解决在大型词汇连续语音识别（LVCSR）系统中恢复未登录词（OOV）专有名称（PNs）的挑战，特别是在广播新闻等历时性音频数据中。
• 克服传统方法依赖频率、新近性或固定主题模型的局限性，这些方法在处理罕见或新出现的专有名称时表现不佳。
• 开发神经网络模型，通过利用 LVCSR 转录文本中的语义上下文，学习检索与给定音频文档相关的 OOV 专有名称。
• 在 D-CBOW2 中引入上下文锚点层，为输入词分配动态重要性，以实现对特定任务关键词的更好识别。
• 通过在 LVCSR 网络上结合检索与自动关键词搜索（KWS），优化语音匹配的 F1 分数，从而提升 OOV PN 恢复性能。

提出的方法

• 使用预训练的 Skip-gram 词嵌入对已知词汇（IV）词和已知专有名称进行训练，构建文档级连续词袋模型（D-CBOW）和 D-CBOW2 模型。
• 以 LVCSR 转录文本作为输入，将音频文档映射到上下文向量空间，以捕捉 IV 词、专有名称与 OOV 专有名称之间的关系。
• 在 D-CBOW2 中，引入上下文锚点层，学习输入词的注意力权重，使模型能够突出与 OOV 专有名称检索相关的关键术语。
• 通过最大化目标 OOV 专有名称与文档中其他词共现的损失函数，优化两个模型。
• 将 D-CBOW 和 D-CBOW2 的上下文向量结合，构建 D-CBOW2+ 模型，以加速训练收敛并提升性能。
• 分两个阶段执行 OOV 专有名称恢复：首先使用模型检索候选 OOV 专有名称列表，然后在 LVCSR 网络上应用语音关键词搜索（KWS）以检测音频中的 OOV 专有名称。

实验结果

研究问题

• RQ1 基于神经网络的上下文模型是否能在从 LVCSR 转录文本中检索 OOV 专有名称方面优于传统方法（如 LDA、Skip-gram 和 Paragraph Vectors）？
• RQ2 引入一种为输入词分配动态重要性的上下文锚点层，是否能提升 OOV 专有名称检索的准确性和鲁棒性？
• RQ3 在后续关键词搜索中，使用不同数量的前 N 个候选 OOV 专有名称进行检索时，OOV 专有名称恢复的性能如何变化？
• RQ4 D-CBOW2+ 模型（结合 D-CBOW 和 D-CBOW2）在多大程度上提升了训练收敛速度和最终检索性能？
• RQ5 LVCSR 转录文本中的词识别错误，对基于注意力机制的模型（如 D-CBOW2）的影响，相较于基于平均的模型（如 D-CBOW）有多大？

主要发现

• D-CBOW2 模型在从法语广播新闻视频中检索相关 OOV 专有名称方面，优于 LDA、Skip-gram 和 Paragraph Vectors 等基线方法。
• D-CBOW2 模型能够成功识别并强调转录文本中的关键术语（如 'maïdan'、'kiew'），当这些术语存在时，显著提升了检索精度。
• 当 LVCSR 转录文本中存在词错误（如 'parti' 代替 'maïdan'）时，D-CBOW2 模型因依赖特定关键词而性能下降，而 D-CBOW 模型由于采用平均策略，表现更稳健。
• D-CBOW2+ 模型通过结合 D-CBOW 和 D-CBOW2 的输出，实现了比单一模型更快的训练收敛速度和更优的性能。
• OOV 专有名称恢复的最佳 F1 分数为 0.34，由 D-CBOW 和 D-CBOW2+ 模型检索出的前 8 个 OOV 专有名称实现，其中 D-CBOW 的精确率和召回率分别为 0.38 和 0.30，D-CBOW2+ 的精确率和召回率分别为 0.42 和 0.29。