[論文レビュー] A Comparison of Two Smoothing Methods for Word Bigram Models

Linda C. Bauman Peto|ArXiv.org|Oct 31, 1994

Natural Language Processing Techniques被引用数 3

ひとこと要約

この論文は、語bigramモデルにおける2つのスムージング手法、削除推定法とMacKayのベイズ的手法（ディリクレ事前分布を用いる）を比較している。200万語のカナダ・ハンザードコーパスを用いた評価では、両手法とも同等のパープレキシティ性能を達成したが、MacKayの手法は効率的なパrameter化と最適化戦略のおかげで、計算リソースをより少なめに要した。

ABSTRACT

A COMPARISON OF TWO SMOOTHING METHODS FOR WORD BIGRAM MODELS Linda Bauman Peto Department of Computer Science University of Toronto Abstract Word bigram models estimated from text corpora require smoothing methods to estimate the probabilities of unseen bigrams. The deleted estimation method uses the formula: Pr(i|j) = lambda f_i + (1-lambda)f_i|j, where f_i and f_i|j are the relative frequency of i and the conditional relative frequency of i given j, respectively, and lambda is an optimized parameter. MacKay (1994) proposes a Bayesian approach using Dirichlet priors, which yields a different formula: Pr(i|j) = (alpha/F_j + alpha) m_i + (1 - alpha/F_j + alpha) f_i|j where F_j is the count of j and alpha and m_i are optimized parameters. This thesis describes an experiment in which the two methods were trained on a two-million-word corpus taken from the Canadian _Hansard_ and compared on the basis of the experimental perplexity that they assigned to a shared test corpus. The methods proved to be about equally accurate, with MacKay's method using fewer resources.

研究の動機と目的

• 語bigram言語モデルにおける2つのスムージング技法の有効性を評価・比較すること。
• 大規模テキストコーパス上でパープレキシティを主な指標として性能を評価すること。
• 2つのスムージング手法間の計算効率の違いを特定すること。
• 最適化されたパrameterが未観測bigramへの一般化性能に与える影響を検討すること。

提案手法

• パrameter化された式を用いた削除推定法：Pr(i|j) = λf_i + (1−λ)f_i|j、ここでf_iとf_i|jは相対頻度と条件付き頻度、λは最適化される。
• MacKayのベイズスムージング法をディリクレ事前分布を用いて実装し、式 Pr(i|j) = (α/F_j + α) m_i + (1 − α/F_j + α) f_i|j を使用。ここでF_jは語jの出現回数、αとm_iは最適化パrameter。
• 両モデルをカナダ・ハンザード議会議事録から得た200万語のコーパスで学習。
• パープレキシティを評価指標として用い、共通のテストコーパス上でモデル性能を評価。
• パープレキシティを最小化するように、λ、α、m_iなどのモデルパラメータを交差検証などの手法で最適化。
• 公平な比較を確保するため、両手法に同一の前処理および正規化処理を適用。

実験結果

リサーチクエスチョン

• RQ1 未観測テストデータにおけるパープレキシティの観点から、削除推定法とMacKayのベイズスムージング法はどのように比較されるか？
• RQ2 どちらのスムージング手法が、レアまたは未観測bigramに対してより良い一般化性能を示すか？
• RQ3 各スムージング手法の計算リソース要件は何か？
• RQ4 2つの手法は、最適化パラメータの選択に対してどれほど感受性を示すか？

主な発見

• 両スムージング手法とも、テストコーパスにおけるパープレキシティの観点でほぼ同等の性能を達成した。
• MacKayのベイズ手法は、低い計算オーバーヘッドで同等の精度を示した。
• 削除推定法における最適化パラメータλは、頻度推定と事前分布推定のバランスをうまくとれた。
• ベイズ手法がディリクレ事前分布を用いることで、低頻度bigramに対しても安定した確率推定が可能になった。
• 2つの手法間の性能差はほとんどなく、スムージング戦略の違いにかかわらず、両手法とも頑健であることが示された。