[论文解读] Improving accuracy of rare words for RNN-Transducer through unigram shallow fusion

Vijay Ravi, Yile Gu+6 more|arXiv (Cornell University)|Nov 30, 2020

Natural Language Processing Techniques参考文献 23被引用 7

一句话总结

本文提出了一种无词性浅层融合（USF）方法，通过在解码过程中对罕见词施加固定的分数提升，简单而有效地提升了RNN-Transducer（RNN-T）自动语音识别（ASR）系统中罕见词的识别效果。USF在不损害整体测试集性能的前提下，使罕见词的词错误率（WER）相对降低了3.7%，且其增益可与二次重打分技术叠加，其作用机制在于纠正基于子词的RNN-T模型中由Viterbi搜索引起的概率估计误差。

ABSTRACT

End-to-end automatic speech recognition (ASR) systems, such as recurrent neural network transducer (RNN-T), have become popular, but rare word remains a challenge. In this paper, we propose a simple, yet effective method called unigram shallow fusion (USF) to improve rare words for RNN-T. In USF, we extract rare words from RNN-T training data based on unigram count, and apply a fixed reward when the word is encountered during decoding. We show that this simple method can improve performance on rare words by 3.7% WER relative without degradation on general test set, and the improvement from USF is additive to any additional language model based rescoring. Then, we show that the same USF does not work on conventional hybrid system. Finally, we reason that USF works by fixing errors in probability estimates of words due to Viterbi search used during decoding with subword-based RNN-T.

研究动机与目标

• 为解决端到端RNN-Transducer（RNN-T）自动语音识别（ASR）系统中罕见词识别准确率持续偏低的长期挑战。
• 开发一种轻量级、低延迟的方法，提升罕见词识别能力，且无需重新训练或引入显著的计算开销。
• 探究使用无词性词频统计的浅层融合是否能纠正由于RNN-T模型中Viterbi解码导致的固有概率估计误差。
• 评估USF在独立使用及与二次重打分技术结合使用时的有效性。
• 对比USF在RNN-T与传统混合ASR系统中的性能表现，以理解其在不同模型架构中的行为特性。

提出的方法

• USF利用RNN-T训练数据中的无词性词频统计构建一个小型无词性有限状态转换器（FST），仅选择词频在2到阈值 $n_{\mathrm{thresh}}$ 之间的词。
• 为每个选定的罕见词在FST中分配一个固定分数 $-1$，而所有其他词则由一条失败弧 $\rho$（分数为0）统一处理。
• 在实时解码过程中，通过可学习的权重 $\alpha$ 对RNN-T得分与USF FST得分进行插值融合。
• 融合后的得分在二次重打分阶段进一步由神经语言模型（NLM）和覆盖率项 $\gamma|w|$ 重新评分。
• 该方法仅在推理阶段应用，无需模型微调，且仅增加极小的内存占用（数MB）。
• 与上下文偏差方法对比，采用大型、非上下文相关的无词性列表，而非基于n-gram的上下文信号。

实验结果

研究问题

• RQ1 一种简单、基于无词性的浅层融合方法是否能显著提升RNN-T中罕见词的识别效果，同时不损害整体性能？
• RQ2 无词性浅层融合是否能纠正由于RNN-T模型中Viterbi解码导致的概率估计误差？
• RQ3 USF带来的性能提升是否可与基于神经语言模型的二次重打分技术叠加？
• RQ4 为何USF在RNN-T中有效，但在传统混合ASR系统中无效？
• RQ5 由于极低的内存和延迟开销，无词性浅层融合是否可高效应用于生产环境？

主要发现

• USF在测试集上使罕见词WER相对降低3.7%，且未对整体测试集性能造成任何下降，表现出极强的鲁棒性。
• USF的性能提升可与基于神经语言模型的二次重打分技术叠加，表明其带来的是互补性增益。
• USF在混合ASR系统中未带来性能提升，甚至极小的插值权重也会导致整体测试集性能显著下降。
• USF在混合模型中失效，表明其专门纠正了RNN-T中一种特有的错误来源：即Viterbi搜索导致的罕见词概率估计偏低。
• 该方法极为高效，仅需数MB内存，且不增加延迟，适合在生产环境中部署。
• 实证分析支持如下假设：USF通过补偿概率估计中遗漏的子词切分总和，缓解了Viterbi解码带来的搜索误差。