[論文レビュー] Statistical Inference and Probabilistic Modelling for Constraint-Based NLP

Stefan Riezler|ArXiv.org|May 19, 1999

Natural Language Processing Techniques参考文献 17被引用数 7

ひとこと要約

本稿では、制約に基づく文法に対する対数線形確率モデルと、不完全で構文解析されていないデータを扱えるパrameter推定アルゴリズムを導入する。これは、Della-Pietraらの手法を文脈依存的な文法に拡張したものであり、主な貢献は、手作業による完全な構文解析が不要なスケーラブルでデータ駆動型の制約ベースNLPシステムの学習を可能にしたことにある。これにより、確率的文脈自由文法とより複雑な文脈依存モデルの間のギャップが埋められる。

ABSTRACT

We present a probabilistic model for constraint-based grammars and a method for estimating the parameters of such models from incomplete, i.e., unparsed data. Whereas methods exist to estimate the parameters of probabilistic context-free grammars from incomplete data (Baum 1970), so far for probabilistic grammars involving context-dependencies only parameter estimation techniques from complete, i.e., fully parsed data have been presented (Abney 1997). However, complete-data estimation requires labor-intensive, error-prone, and grammar-specific hand-annotating of large language corpora. We present a log-linear probability model for constraint logic programming, and a general algorithm to estimate the parameters of such models from incomplete data by extending the estimation algorithm of Della-Pietra, Della-Pietra, and Lafferty (1997) to incomplete data settings.

研究の動機と目的

• 不完全で構文解析されていないデータ上で学習される確率的制約ベース文法のパrameter推定手法の欠如に対処すること。
• 従来、確率的文脈自由文法に限られていた不完全データ推定技術を、文脈依存性を持つ文法へと拡張すること。
• 高コストな手作業による構文解析に依存を減らし、未ラベル・未アノテートコーパスからのパrameter学習を可能にすること。
• NLP応用における制約論理プログラミングにおける確率的モデリングの一般枠組みを提供すること。
• 統計的推論を不完全なデータに適用することで、複雑な文法のスケーラブルでデータ駆動型の学習を可能にすること。

提案手法

• 構文解析の確率を特徴量の重み付き和として表現する、制約論理プログラミングのための対数線形確率モデルを定式化する。
• Della-Pietraら（1997）の推定アルゴリズムを不完全データ設定に適応させ、部分的かつ観測された構文解析からのパrameter学習を可能にする。
• 完全な構文解析が得られない状況においても、反復的EMスタイルのアプローチを用いてモデルパラメータを最適化する。
• 文法的構造における文脈依存制約を捉える特徴ベース表現を導入する。
• 制約ベース文法に適用し、部分的または曖昧な言語的構造における確率的推論を可能にする。
• 完全な監視情報が欠落している状況でも、尤度に基づく目的関数を用いてパラメータ更新を誘導する。

実験結果

リサーチクエスチョン

• RQ1 不完全で構文解析されていないデータ上で、確率的制約ベース文法を効果的に学習できるか？
• RQ2 文脈依存性を持つ文法において、完全データ設定から不完全データシナリオへのパrameter推定をどのように一般化できるか？
• RQ3 不完全データを用いた対数線形モデルが、構文解析の正確性とモデル収束性に与える影響は何か？
• RQ4 Della-Pietraらの推定フレームワークは、NLPにおける制約論理プログラミングの複雑さを扱えるように拡張可能か？
• RQ5 訓練における完全な手作業による構文解析を回避することで得られる実用的利点は何か？

主な発見

• 提案手法により、完全な構文解析が不要な未解析コーパスのみを用いても、確率的制約ベース文法の有効なパrameter推定が可能になる。
• Della-Pietraらのアルゴリズムを不完全データに拡張することで、文脈依存的で複雑な文法モデルにおけるスケーラブルな学習が可能になる。
• 対数線形形式は柔軟な特徴工学を可能にし、モデルが多様な言語的制約を捉えることができる。
• 高価な文法固有の手作業アノテーションへの依存が軽減され、確率的モデリングがよりアクセス可能で実用的になる。
• 実世界の不完全な言語的データを用いた制約ベースNLPシステムの訓練において、本手法は実現可能性と頑健性を示している。
• フレームワークは制約論理プログラミングにおける統計的推論の一般解を提供し、評価の範囲を超えて応用可能である。