[論文レビュー] Inducing Probabilistic Grammars by Bayesian Model Merging

Andreas Stolcke, Stephen M. Omohundro|arXiv (Cornell University)|Sep 13, 1994

Natural Language Processing Techniques参考文献 16被引用数 17

ひとこと要約

本稿では、反復的に初期のデータ固有モデルを統合操作によって一般化することで、肯定的コーパスから確率的文法を誘導するベイジアンモデル統合フレームワークを提案する。尤度とモデルの単純さのバランスを取る事後確率を最大化することで、コンactなHMM、クラスベースn-gram、および確率的文脈自由文法を実現し、 Baum-Welch よりも構造誘導において優れた性能を示す。

ABSTRACT

We describe a framework for inducing probabilistic grammars from corpora of positive samples. First, samples are {\em incorporated} by adding ad-hoc rules to a working grammar; subsequently, elements of the model (such as states or nonterminals) are {\em merged} to achieve generalization and a more compact representation. The choice of what to merge and when to stop is governed by the Bayesian posterior probability of the grammar given the data, which formalizes a trade-off between a close fit to the data and a default preference for simpler models (`Occam's Razor'). The general scheme is illustrated using three types of probabilistic grammars: Hidden Markov models, class-based $n$-grams, and stochastic context-free grammars.

研究の動機と目的

• 音声認識やNLPの応用分野における、訓練データから最適な離散的構造を発見する課題に対処すること。
• オッカムの剃刀を用いて適合性とモデルの単純さのトレードオフをとることで、モデル一般化をベイジアン推論問題として形式化すること。
• HMM、n-gram、SCFGに適用可能な統一的で原理的フレームワークを確立すること。
• 構造誘導において、尤度最大化に比べて事後確率に基づく統合が優れていることを示すこと。

提案手法

• 訓練サンプルを個別パスとして明示的に符号化する初期モデル M₀ から出発し、尤度を最大化するが一般化性に欠ける。
• 部分構造（例：状態や非終端記号）を統合する反復的統合操作を適用し、統合された構成要素からの遷移と出力を共有する。
• 統合を誘導する基準として、事後確率 P(M|X) = P(M)P(X|M)/P(X) を用いる。適合性と単純さのバランスを取る。
• 最良優先探索やビームサーチを用いて、即時の事後確率増加を最大化する統合ステップを探索し、これ以上利益がない時点で停止する。
• モデルサイズの管理を維持するため、データの組み込みと統合をオンラインで交互に実行する。
• 構造的好みを表現するための事前分布 P(M) を定義し、絶対的データ頻度に基づいて過剰一般化が自然にペナルティを受けるようにする。

実験結果

リサーチクエスチョン

• RQ1 ベイジアン事後確率基準は、肯定的訓練サンプルから確率的文法構造を一般化するのに効果的に機能するか？
• RQ2 事後確率に基づくモデル統合は、 Baum-Welch などの従来の尤度最大化と比較して、正しいHMMトポロジーを発見する際に優れているか？
• RQ3 データ頻度が高いが、根本的な構造が複雑な場合に、ベイジアンフレームワークは過剰一般化をどれほど効果的に防ぐか？
• RQ4 同じ統合フレームワークをHMM、n-gram、SCFGといった多様な確率的モデルに一貫して適用可能か？
• RQ5 尤度項に相対頻度に加えて絶対頻度を含めることで、相対頻度のみのアプローチと比較して一般化に与える影響は何か？

主な発見

• ベイジアンモデル統合アプローチは、有限の訓練データセットを超えて一般化できるコンactで一般化可能なHMMを効果的に誘導する。例えば、有限のサンプルから {ab}n の無限の言語を捉える。
• HMMに対しては、 Baum-Welch 評価よりも優れた構造誘導性能を示し、特に真の下位トポロジーを回復する点で優れている。
• SCFG版のアルゴリズムは、従来のCFG誘導手法を簡素化・統合し、適合性とモデル複雑度のバランスを取る原理的で整合性のある方法を提供する。
• 絶対的データ頻度に基づいて過剰一般化がペナルティを受ける：パターンの頻度が100倍になると、一般化に伴う対数尤度損失も100倍に増加し、過剰一般化が起こりにくくなる。
• 事後確率に基づく統合プロセスは最適モデルで自然に停止する。探索における前方探索を組み合わせることで、局所最適解に陥るのを回避できる。
• 本手法は頑健で、認知的にも妥当である。統合操作は、非確率的文法誘導における同値類構築と概念的に類似しており、より広範な応用可能性を示唆している。