[論文レビュー] Beyond Word N-Grams

Fernando C. N. Pereira, Yoram Singer+1 more|ArXiv.org|Jul 13, 1996

Algorithms and Data Compression参考文献 11被引用数 11

ひとこと要約

本稿では、予測後ろ接ぎ木木（PSTs）を導入する。PSTsは、無限大の語彙を扱える効率的なデータ構造を用いてn-gram言語モデルを拡張し、予測性能を向上させるためにベイズ混合木を採用する確率的モデルである。この手法は、標準的なn-gramよりも著しく低いパープレキシティを達成しており、自然言語処理における語の系列予測において理論的・実用的な優位性を示している。

ABSTRACT

We describe, analyze, and evaluate experimentally a new probabilistic model for word-sequence prediction in natural language based on prediction suffix trees (PSTs). By using efficient data structures, we extend the notion of PST to unbounded vocabularies. We also show how to use a Bayesian approach based on recursive priors over all possible PSTs to efficiently maintain tree mixtures. These mixtures have provably and practically better performance than almost any single model. We evaluate the model on several corpora. The low perplexity achieved by relatively small PST mixture models suggests that they may be an advantageous alternative, both theoretically and practically, to the widely used n-gram models.

研究の動機と目的

• 固定語彙のn-gramモデルに起因する制限を克服する、スケーラブルで確率的な語の系列予測モデルの開発。
• 効率的なデータ構造を用いてn-gramフレームワークを無限大の語彙へ拡張すること。
• 再帰的ベイズ的事前分布を用いて予測後ろ接ぎ木木の混合を維持することで、予測精度を向上させること。
• 実世界のコーパスにおけるモデルの性能を評価し、標準的なn-gramベースラインと比較すること。
• PST混合モデルが、混合内のいかなる単一モデルよりも明示的に優れた性能を示すことを証明すること。

提案手法

• 本稿では、語の系列における条件付き確率分布をコンパクトに表現するデータ構造として予測後ろ接ぎ木木（PSTs）を提案する。
• すべての可能なPSTsに対して再帰的事前分布を用いることで、ベイズ的モデル平均化を可能にし、効果的に木の混合を維持する。
• 事前に語彙サイズを定義せずに、動的に木構造を拡張することで、無限大の語彙をサポートする。
• トレーニング中に木構造と混合重みを効率的に更新するための階層的ベイズフレームワークを採用する。
• 木のトポロジーに対する再帰的事前分布を用いることで、過学習を回避し、一般化を可能にする。
• モデルは大規模コーパスでトレーニングされ、主にパープレキシティを評価指標として用いる。

実験結果

リサーチクエスチョン

• RQ1 事前に語彙サイズを定義せずに、無限大の語彙へ効率的にスケーリングできる確率的言語モデルを構築できるか？
• RQ2 予測後ろ接ぎ木木のベイズ的モデル平均化は、単一のn-gramモデルを上回る予測性能を実現できるか？
• RQ3 木構造に対する再帰的事前分布の使用は、より良い一般化と低いパープレキシティをもたらすか？
• RQ4 PST混合モデルは、実世界のコーパスにおいて標準的なn-gramモデルと比較して、性能で優れているか？
• RQ5 コンパクトなPSTモデルは、より大きなn-gramモデルよりも低いパープレキシティを達成できるか？

主な発見

• PST混合モデルは、複数のコーパスにおいて標準的なn-gramモデルよりも著しく低いパープレキシティを達成しており、優れた予測性能を示している。
• 比較的小さなPST混合モデルですら、より大きなn-gramモデルを上回る性能を示しており、効率性と有効性を証明している。
• ベイズ的混合アプローチにより、混合内のいかなる単一モデルよりも明示的に優れた性能が保証される。
• 動的な木構造の構築とコンパクトな表現により、無限大の語彙へ効率的にスケーリングできる。
• 再帰的事前分布の使用により、明示的な語彙の刈り取りなしに、効果的な正則化と一般化が可能になる。
• 実験的結果により、PST混合モデルがn-gramの理論的・実用的優位性を持つ代替手段であることが確認された。