[論文レビュー] Aggregate and mixed-order Markov models for statistical language processing

Lawrence K. Saul, Fernando Pereira|ArXiv.org|Jun 9, 1997

Algorithms and Data Compression参考文献 12被引用数 138

ひとこと要約

この論文は、EMで学習された確率的語類とスキップ-k遷移行列を用いて、標準的なn-gramモデルと中間的な言語モデルとしての集約的・混合順序マルコフモデルを提案する。これらのモデルはスムージング手順に組み込まれることで、未観測の語の組み合わせにおけるパープレキシティを50%以上低減し、従来のn-gramバックオフモデルよりも著しく少ない学習時間を要する。

ABSTRACT

We consider the use of language models whose size and accuracy are intermediate between different order n-gram models. Two types of models are studied in particular. Aggregate Markov models are class-based bigram models in which the mapping from words to classes is probabilistic. Mixed-order Markov models combine bigram models whose predictions are conditioned on different words. Both types of models are trained by Expectation-Maximization (EM) algorithms for maximum likelihood estimation. We examine smoothing procedures in which these models are interposed between different order n-grams. This is found to significantly reduce the perplexity of unseen word combinations.

研究の動機と目的

• 大語彙言語モデルにおけるスパースな学習データからの一般化の課題に対処すること。
• 異なるn-gram順序の間の中間的サイズおよび精度を持つモデルを開発すること。
• 改善されたスムージング手法を用いて、未観測の語の組み合わせにおけるパープレキシティを低減すること。
• 同等またはそれ以上の性能を示すが、計算コストが低い最大エントロピーモデルの代替手段を提供すること。

提案手法

• 集約的マルコフモデルは、確率的語類を用いてパrameter数を削減し、EMを用いて尤度を最大化するように語類の割り当てを学習する。
• 混合順序マルコフモデルは、スキップ-k遷移行列（例：kステップ前の語に条件付けられたもの）の予測を、文脈依存の混合係数を用いて統合する。
• 両モデルとも、混合重みと遷移確率を同時に最適化するため、期待値最大化（EM）アルゴリズムを用いて学習する。
• スムージングは、これらの中間的モデルを異なるn-gram順序の間に挿入することによって達成され、希少または未観測の系列への一般化が向上する。
• 混合順序モデルのスケーリングはO(mV²)であり、完全なm+1-gramモデルのO(V^{m+1})に比べて著しく小さい。
• このフレームワークにより、使用される文脈に合わせて予測を調整することで、一貫した補間が可能になる。

実験結果

リサーチクエスチョン

• RQ1 unigram、bigram、trigram n-gramの中間的複雑性を持つモデルは、未観測の語の系列におけるパープレキシティを低減できるか？
• RQ2 確率的語類（集約モデル）の使用は、大語彙言語モデルにおける一般化の向上にどの程度有効か？
• RQ3 非隣接語に条件付けられたスキップ-k遷移行列は、標準的なbigramモデルを上回る予測精度を向上させられるか？
• RQ4 n-gram順序の間に中間的モデルをスムージング手順に挿入することで、パープレキシティに顕著な改善が得られるか？
• RQ5 EMベースの中間的モデルの学習効率は、最大エントロピーモデルと比較してどの程度か？

主な発見

• 中間的集約的および混合順序モデルの使用により、ベースラインのtrigramバックオフモデルと比較して、未観測の語の組み合わせにおけるパープレキシティが50%以上低減された。
• 混合順序モデルは、trigramの切り捨てに応じて16%から22%のパープレキシティ低減を達成し、ベースラインのtrigramモデルを上回った。
• 混合順序モデルのEMベースの学習は12CPU時間未満で完了し、類似の研究で最大エントロピーモデルに200CPU日を要したのと比べて著しく高速であった。
• 希少なtrigramを切り捨てることで性能が向上し、混合順序モデルは最も頻出するtrigramのみを保持しても低パープレキシティを維持した。
• 異なるランダムなテストセットの分割において一貫した性能を示し、モデルの頑健性が確認された。
• 集約モデルは語類の数を制御することでunigramとbigramの複雑さの中間的トレードオフを達成でき、語類数を増やすほど性能が向上した。