[論文レビュー] A Tutorial on the Expectation-Maximization Algorithm Including Maximum-Likelihood Estimation and EM Training of Probabilistic Context-Free Grammars

Detlef Prescher|ArXiv.org|Dec 3, 2004

Natural Language Processing Techniques参考文献 22被引用数 23

ひとこと要約

このチュートリアルでは、確率的文脈自由文法（PCFG）における最尤推定のための期待値最大化（EM）アルゴリズムを提示し、アノテート済みのツリー・バンクデータからの文法再推定への応用を示している。この手法は繰り返しPCFG規則の確率を改善し、訓練データの尤度が最大化される安定したモデルに収束する。結果として、曖昧な代替案よりも構文的に妥当な解析が強く支持されることが示された。

ABSTRACT

The paper gives a brief review of the expectation-maximization algorithm (Dempster 1977) in the comprehensible framework of discrete mathematics. In Section 2, two prominent estimation methods, the relative-frequency estimation and the maximum-likelihood estimation are presented. Section 3 is dedicated to the expectation-maximization algorithm and a simpler variant, the generalized expectation-maximization algorithm. In Section 4, two loaded dice are rolled. A more interesting example is presented in Section 5: The estimation of probabilistic context-free grammars.

研究の動機と目的

• 離散数学に基づいた明確で数学的に根拠のあるEMアルゴリズムのチュートリアルを提供すること。
• 最尤推定を、確率的モデルにおける統計的推論の一般枠組みとして示すこと。
• ツリー・バンクデータからの確率的文脈自由文法（PCFG）のトレーニングにEMアルゴリズムを適用すること。
• EMアルゴリズムが観測された句構造の尤度を最大化するために、PCFG規則の確率を繰り返し改善する方法を示すこと。
• EMで学習されたPCFGの性能を、解析確率の定量的比較を通じて、構文的曖昧性の解消の観点から評価すること。

提案手法

• EMアルゴリズムは、潜在変数を含むモデルにおける尤度最大化の反復的手法として導入され、Eステップ（期待値）とMステップ（最大化）の二段階で構成される。
• 相対度数推定をベースラインとして用い、$ \tilde{p}(x) = f(x)/|f| $ で定義される。ここで $ f $ はコーパスであり、$ |f| $ はそのサイズである。
• 最尤推定は、与えられたモデル下で観測データの尤度を最大化するパラメータ集合を求めるものとして形式化される。
• PCFGの場合、EMアルゴリズムはEステップで現在の確率推定に基づき、規則適用の期待度数を計算する。
• Mステップでは、期待度数の合計に対する期待度数の比率として、新たな規則確率が再推定される。
• アルゴリズムは収束するまで繰り返され、例では19回の反復後に確率が安定した。

実験結果

リサーチクエスチョン

• RQ1 EMアルゴリズムを確率的文脈自由文法におけるパrameter推定に体系的かつ適切に適用する方法は何か？
• RQ2 EMの文脈において、相対度数推定と最尤推定の関係は何か？
• RQ3 EMアルゴリズムは、反復の度にPCFGパラメータ推定をどのように改善するか？
• RQ4 曖昧な文において、EM再推定はどの程度、ある構文的解析を他の解析よりも優遇するか？
• RQ5 PCFGトレーニングにおけるEMアルゴリズムの収束行動はどのようなものであり、いつ停止させることができるか？

主な発見

• 19回の反復後、EMアルゴリズムは収束し、規則確率に変化がなかった。これは、安定した最尤推定に到達したことを示している。
• EMで推定されたPCFG $ p_{18} $ は、好まれる解析（VP → V NP および NP → NP PP）に対して確率0.315を割り当てた一方、代替解析（VP → V NP PP）に対してはわずか0.033にとどまった。
• 好まれる解析の尤度は、初期推定値 $ p_0 $ の0.125から $ p_{18} $ の0.315へと単調に増加した。一方、競合解析の尤度は0.500から0.033へと減少した。
• EMアルゴリズムは、構文的により妥当な構造を優遇するようにPCFG規則確率を適切に再推定できており、正しい解析への好まれる傾向の増加が裏付けられた。
• Eステップでは、現在の確率に基づき期待される規則適用回数が計算され、Mステップでは、正規化された期待度数として確率が再推定される。これにより、尤度の目的関数と整合性が保たれる。
• 最終的なPCFG $ p_{18} $ は、正しい構文的解析が曖昧な代替案よりも強く支持される安定した高尤度の構成に到達した。