[論文レビュー] Model Interpolation with Trans-dimensional Random Field Language Models for Speech Recognition

Bin Wang, Zhijian Ou+2 more|arXiv (Cornell University)|Mar 30, 2016

Speech Recognition and Synthesis参考文献 14被引用数 4

ひとこと要約

本稿では、文全体を確率的場としてモデル化し、局所正規化を回避することで、より高速な推論と競争力のある性能を達成する、トランス次元ランダムフィールド言語モデル（TRF-LM）とニューラルネットワーク言語モデル（NN-LM）を組み合わせた新しい対数線形補間手法を提案する。TRF-LMは、文全体をランダムフィールドとしてモデル化することで、推論速度が向上し、性能も競争的である。主な結果として、英語では6-gram LMsに対して12.1%の相対的WER低減、中国語では17.9%の相対的WER低減を達成し、TRF-LMとNN-LMの統合の有効性を示している。

ABSTRACT

The dominant language models (LMs) such as n-gram and neural network (NN) models represent sentence probabilities in terms of conditionals. In contrast, a new trans-dimensional random field (TRF) LM has been recently introduced to show superior performances, where the whole sentence is modeled as a random field. In this paper, we examine how the TRF models can be interpolated with the NN models, and obtain 12.1\% and 17.9\% relative error rate reductions over 6-gram LMs for English and Chinese speech recognition respectively through log-linear combination.

研究の動機と目的

• トランス次元ランダムフィールド言語モデル（TRF-LM）が、文全体をランダムフィールドとしてモデル化する手法であるが、この手法がニューラルネットワーク言語モデル（NN-LM）と効果的に統合可能かどうかを調査すること。
• 文の確率を共同でモデル化するための、線形（単語レベルまたは文レベル）および対数線形の補間スキームを、TRF-LMとNN-LMの間で評価すること。
• 従来のn-gramおよびRNNベースのモデルと比較して、TRF-LMが推論速度および特徴統合の観点で計算的・精度的利点を示すかどうかを明らかにすること。
• 言語モデルにおけるランダムフィールドアプローチが、主流の条件付きアプローチの代替として実用的で強力であるという実証的証拠を提示すること。

提案手法

• TRF-LMは、文の長さと語順列の同時確率を、次元が変化するランダムフィールドの定式化によりモデル化し、確率は $ p(l,x^l;\lambda) = \frac{n_l/n}{Z_l(\lambda)} e^{\lambda^T f(x^l)} $ で定義される。ここで $ f(x^l) $ は位置および長さに依存しない特徴ベクトルである。
• モデルパラメータ $ \lambda $ および正規化定数 $ Z_l(\lambda) $ の推定には、結合確率的近似（SA）訓練アルゴリズムが用いられ、$ \zeta_l $ は $ Z_l(\lambda) $ と $ Z_1(\lambda) $ の対数比を表す。
• 補間は対数線形結合により実行され、$ s(x^l) = \exp(\alpha \log p_1(x^l) + (1-\alpha) \log p_2(x^l)) $ で表される。ここで $ p_1 $ と $ p_2 $ はそれぞれTRF-LMおよびNN-LMの同時確率であり、$ \alpha $ は開発セット上で最適化される。
• TRF-LMの特徴には単語ユニグラム、バイグラム、スキップグラム、および文脈に依存する特徴が含まれ、モデル容量は特徴空間のクラス数（例：200〜600クラス）によって制御される。
• 実験では、並列化されたトレーニングおよび推論に20〜80コアのCPUが使用され、ハイパーパrameterとして $ \beta_\lambda = 0.8 $、$ \beta_\zeta = 0.6 $、$ t_0 = t_{\text{max}} = 20000 $ が用いられた。

実験結果

リサーチクエスチョン

• RQ1 トランス次元ランダムフィールド言語モデル（TRF-LM）をニューラルネットワーク言語モデル（NN-LM）と効果的に補間することで、音声認識性能を向上させることができるか？
• RQ2 TRF-LMとNN-LMを統合する際、線形補間（単語レベルまたは文レベル）と対数線形補間のうち、どの補間スキームがより安定的かつ効果的な性能向上をもたらすか？
• RQ3 TRF-LMは、n-gramおよびRNNベースの言語モデルと比較して、語誤り率（WER）、パープレキシティ（PPL）、および推論速度の観点で、どのように性能を発揮するか？
• RQ4 TRF-LMは、条件付きモデルと比較して、より豊富な特徴を統合し、局所正規化の計算負荷を回避できる程度はどの程度か？

主な発見

• TRF-LMとNN-LMの対数線形結合により、英語のWSJ0音声認識で6-gram Kneser-Ney（KN6）LMに対して12.1%の相対的語誤り率（WER）低減が達成された。
• 中国語のマンダリン認識においても、同じ対数線形結合によりKN6 LMに対して17.9%の相対的WER低減が達成され、FNNとKN6モデルの最良組み合わせをも上回った。
• 400クラスのTRF-LMは中国語テストセットでCER 4.32%を達成し、FNN LMの4.30%に非常に近い性能を示し、KN6 LMの4.87%を著しく上回った。
• RNN-LMと比較して、TRF-LMは200倍の高速な再スコアリング速度を達成し、1000件のベストリストあたり0.16秒の推論時間を記録した（GPUを使用せず）。
• 対数線形補間スキームは、英語および中国語の両実験で線形補間スキームよりもより安定した性能を示した。
• 中国語において、特徴「w+c+ws+cs+cpw」と400クラスを用いたTRF-LMは、対数線形補間によりFNN LMと統合した際、CER 4.0%という最良の性能を達成した。