[论文解读] Model Interpolation with Trans-dimensional Random Field Language Models for Speech Recognition

Bin Wang, Zhijian Ou+2 more|arXiv (Cornell University)|Mar 30, 2016

Speech Recognition and Synthesis参考文献 14被引用 4

一句话总结

该论文提出了一种新颖的对数线性插值方法，将变维随机场语言模型（TRF-LM）与神经网络语言模型（NN-LM）结合，以提升语音识别性能。通过将整个句子建模为随机场并避免局部归一化，TRF-LM 实现了更快的推理速度和具有竞争力的性能表现。关键结果是在英语中相比6-gram语言模型实现了12.1%的相对WER降低，在中文中实现了17.9%的相对WER降低，证明了TRF-LM与NN-LM结合的有效性。

ABSTRACT

The dominant language models (LMs) such as n-gram and neural network (NN) models represent sentence probabilities in terms of conditionals. In contrast, a new trans-dimensional random field (TRF) LM has been recently introduced to show superior performances, where the whole sentence is modeled as a random field. In this paper, we examine how the TRF models can be interpolated with the NN models, and obtain 12.1\% and 17.9\% relative error rate reductions over 6-gram LMs for English and Chinese speech recognition respectively through log-linear combination.

研究动机与目标

• 研究变维随机场语言模型（TRF-LM）是否能有效与神经网络语言模型（NN-LM）结合，以提升语音识别性能。
• 评估不同插值方案——线性（词级或句级）与对数线性——在联合建模句概率时，对TRF-LM与NN-LM的性能增益效果。
• 展示TRF-LM相较于传统n-gram和RNN-based模型在计算效率与精度方面的优势，特别是在推理速度和特征整合方面。
• 提供实证证据，证明随机场方法在语言建模中是主流条件方法的可行且强大的替代方案。

提出的方法

• TRF-LM 使用变维随机场公式建模句子长度与词序列的联合概率，其概率定义为 $ p(l,x^l;\lambda) = \frac{n_l/n}{Z_l(\lambda)} e^{\lambda^T f(x^l)} $，其中 $ f(x^l) $ 为与位置和长度无关的特征向量。
• 采用联合随机逼近（SA）训练算法估计模型参数 $ \lambda $ 和归一化常数 $ Z_l(\lambda) $，其中 $ \zeta_l $ 表示 $ Z_l(\lambda) $ 与 $ Z_1(\lambda) $ 的对数比值。
• 通过使用对数线性组合进行模型插值：$ s(x^l) = \exp(\alpha \log p_1(x^l) + (1-\alpha) \log p_2(x^l)) $，其中 $ p_1 $ 和 $ p_2 $ 分别为TRF-LM和NN-LM的联合概率，$ \alpha $ 在开发集上进行调优。
• TRF-LM 的特征包括词一元语法、二元语法、跳字语法以及上下文敏感特征，模型容量通过特征空间中的类别数量控制（例如200–600个类别）。
• 实验使用20–80个CPU核心进行并行训练与推理，超参数包括 $ \beta_\lambda = 0.8 $，$ \beta_\zeta = 0.6 $，以及 $ t_0 = t_{\text{max}} = 20000 $。

实验结果

研究问题

• RQ1 变维随机场语言模型（TRF-LM）能否与神经网络语言模型（NN-LM）有效插值，以提升语音识别性能？
• RQ2 在结合TRF-LM与NN-LM时，哪种插值方案——线性（词级或句级）或对数线性——能带来更稳定且更有效的性能提升？
• RQ3 TRF-LM在词错误率（WER）、困惑度（PPL）和推理速度方面，与n-gram和RNN-based语言模型相比表现如何？
• RQ4 TRF-LM在整合更丰富特征方面，与条件模型相比，能在多大程度上避免局部归一化的计算负担？

主要发现

• TRF-LM与NN-LM的对数线性组合在英语WSJ0语音识别中，相比6-gram Kneser-Ney（KN6）语言模型，实现了12.1%的相对词错误率（WER）降低。
• 在中文普通话识别中，相同的对数线性组合相比KN6语言模型实现了17.9%的相对WER降低，甚至优于FNN与KN6模型的最佳组合。
• 在中文测试集上，使用400个类别的TRF-LM实现了4.32%的CER，与FNN语言模型的4.30%非常接近，显著优于KN6语言模型的4.87% CER。
• TRF-LM的重打分速度比RNN-LM快200倍，每1000个候选列表的推理时间仅为0.16秒，而RNN模型需40秒，且未使用GPU。
• 与线性插值方案相比，对数线性插值方案在英语和中文实验中均表现出更稳定的性能。
• 在中文中，使用特征‘w+c+ws+cs+cpw’和400个类别的TRF-LM，通过与FNN语言模型进行对数线性插值，实现了最佳性能，CER为4.0%。