[论文解读] Fast and Robust Unsupervised Contextual Biasing for Speech Recognition

Young Mo Kang, Yingbo Zhou|arXiv (Cornell University)|May 4, 2020

Speech Recognition and Synthesis参考文献 20被引用 13

一句话总结

该论文提出了一种无监督、快速且鲁棒的自动语音识别（ASR）上下文偏置方法，通过使用无监督的基于类的语言模型预先计算词汇表中所有词汇词的偏置分数，消除了推理过程中动态构建语言模型的需求。该方法在相关上下文条件下提升了识别准确率，并对无关或对抗性上下文表现出强容忍度，相较于传统的插值方法在鲁棒性和效率方面表现更优。

ABSTRACT

Automatic speech recognition (ASR) system is becoming a ubiquitous technology. Although its accuracy is closing the gap with that of human level under certain settings, one area that can further improve is to incorporate user-specific information or context to bias its prediction. A common framework is to dynamically construct a small language model from the provided contextual mini corpus and interpolate its score with the main language model during the decoding process. Here we propose an alternative approach that does not entail explicit contextual language model. Instead, we derive the bias score for every word in the system vocabulary from the training corpus. The method is unique in that 1) it does not require meta-data or class-label annotation for the context or the training corpus. 2) The bias score is proportional to the word's log-probability, thus not only would it bias the provided context, but also robust against irrelevant context (e.g. user mis-specified or in case where it is hard to quantify a tight scope). 3) The bias score for the entire vocabulary is pre-determined during the training stage, thereby eliminating computationally expensive language model construction during inference. We show significant improvement in recognition accuracy when the relevant context is available. Additionally, we also demonstrate that the proposed method exhibits high tolerance to false-triggering errors in the presence of irrelevant context.

研究动机与目标

• 解决在通用语言模型中表现不佳或未登录词的领域特定或个性化词汇的ASR识别准确率提升问题。
• 消除推理过程中显式构建计算成本高昂的上下文语言模型的需求。
• 在无需训练数据或上下文的元数据、类别标签或标注信息的情况下实现上下文偏置。
• 增强对无关或对抗性上下文词导致的误触发的鲁棒性。
• 通过在训练期间预计算偏置分数，实现高推理效率。

提出的方法

• 该方法从在通用语料上训练的无监督基于类的语言模型中推导偏置分数，利用n-gram统计将词汇聚类为非重叠类别。
• 对于词汇表中的每个词，偏置分数根据公式（2）计算，即基于词在所属类别中的类级别n-gram计数与词特定计数的分离计算。
• 在推理过程中，将偏置分数 $ s_B(w|H) $ 加到基础语言模型分数 $ s_G(w|H) $ 上，形成最终分数 $ s(w|H) = s_G(w|H) + s_B(w|H) $。
• 偏置分数与词的对数概率成正比，确保高频且与上下文相关的词获得更强的偏置，同时最小化对罕见或无关词的过拟合。
• 该方法支持短语扩展和未登录词（OOV）两种上下文整合方式，通过调节超参数 $ \lambda $ 和 $ \alpha $ 实现最优性能。
• 通过在训练期间预计算所有偏置分数，避免了运行时的语言模型构建，显著降低了推理开销。

实验结果

研究问题

• RQ1 我们能否在推理过程中无需动态构建语言模型，实现ASR中的有效上下文偏置？
• RQ2 如何在不依赖训练数据或上下文的类别标签或元数据的情况下实现上下文偏置？
• RQ3 所提方法对无关或对抗性上下文词导致的误触发容忍程度如何？
• RQ4 无监督聚类中的类别数量如何影响鲁棒性与准确率？
• RQ5 与标准语言模型构建相比，该方法的计算开销如何？

主要发现

• 当提供相关上下文时，该方法实现了4.0%的相对WER降低，显著提升了准确率。
• 在OOV方案下，使用10,000个干扰词（无关上下文）时，WER仅增加0.37个百分点，表明对误触发具有极高的容忍度。
• 使用5,000个类别时，即使在10,000个干扰词下，WER仅增加0.03个百分点，表明对过度偏置具有极强的鲁棒性。
• 该方法将10,000个上下文词的推理时间开销降低至470 ms（相比KenLM-based模型构建的1,288 ms），证明了其计算效率。
• 在对抗性测试中，使用10,000个常见词作为上下文，即使在5,000个类别的条件下，WER仍保持在17%以下，证实了对过度偏置的强韧抗性。
• 由于偏置分数的内在分布特性，该方法在鲁棒性方面优于基线插值方法，尤其在高干扰条件下表现更优。