[論文レビュー] Probabilistic Constraint Logic Programming

Stefan Riezler|arXiv (Cornell University)|Nov 11, 1997

Bayesian Modeling and Causal Inference参考文献 18被引用数 61

ひとこと要約

本稿では、不完全なデータからのパrameter推定と、拡張された反復スケーリングアルゴリズムを用いた最も確率の高い解析の効率的探索を可能にする、対数線形確率的制約論理プログラミング（CLP）モデルを提案する。このアプローチは、性質ベースのスコアリングにより最適な証明木を動的に選択することで、文脈自由文法を超えてより表現力の高い制約ベースの文法へと拡張する自然言語処理における曖昧性解消を支援する。

ABSTRACT

This paper addresses two central problems for probabilistic processing models: parameter estimation from incomplete data and efficient retrieval of most probable analyses. These questions have been answered satisfactorily only for probabilistic regular and context-free models. We address these problems for a more expressive probabilistic constraint logic programming model. We present a log-linear probability model for probabilistic constraint logic programming. On top of this model we define an algorithm to estimate the parameters and to select the properties of log-linear models from incomplete data. This algorithm is an extension of the improved iterative scaling algorithm of Della-Pietra, Della-Pietra, and Lafferty (1995). Our algorithm applies to log-linear models in general and is accompanied with suitable approximation methods when applied to large data spaces. Furthermore, we present an approach for searching for most probable analyses of the probabilistic constraint logic programming model. This method can be applied to the ambiguity resolution problem in natural language processing applications.

研究の動機と目的

• 表現力のある確率的制約論理プログラミングモデルにおける不完全なデータからのパrameter推定を扱う。
• 自然言語処理における曖昧な入力の最も確率の高い解析の効率的取得を可能にする。
• 反復スケーリングアルゴリズムを、不完全なデータを伴う対数線形モデルに拡張し、性質選択とモデル学習を支援する。
• 文脈自由文法を超えて一般化するフレームワークを提供し、複雑で文脈に依存する言語的制約を扱えるようにする。
• 解析の妥当性を確率に結びつけることで、パースランク付けなどの実用的NLP応用を支援する。

提案手法

• 本稿は、制約論理プログラムにおける証明木の上に、特徴関数と重みでパrameter化された対数線形確率モデルを導入する。
• Della-Pietraら（1995）の反復スケーリングアルゴリズムを拡張し、不完全なデータを処理可能にすることで、モデルパラメータの最尤推定を可能にする。
• モデル学習中に予測精度を向上させる要因（部分木の性質）を同定することで、性質選択を実行する。
• 推論には動的計画法を用い、各導出段階でスコアが最も高い部分木を選択することで、最も確率の高い証明木を計算する。
• 正確な動的計画法が非効率な場合（重複するまたは分離された部分木の性質がある場合）、近似手法を用いて重複・分離された性質を扱う。
• このフレームワークは一般性に富んでおり、決定木や木置換文法が特別なケースとして対数線形モデルに埋め込める。

実験結果

リサーチクエスチョン

• RQ1 訓練データが解析されていない、もしくは不完全な状態である場合、確率的制約論理プログラミングモデルにおけるモデルパラメータはどのように推定できるか？
• RQ2 確率的CLPモデルから、曖昧な入力の最も確率の高い解析（例：文構造解析）をどのように効率的に取得できるか？
• RQ3 反復スケーリングは、不完全なデータを伴う対数線形モデルに適応可能か？ これにより、パラメータ学習と特徴選択が可能になるか？
• RQ4 制約論理プログラミングの表現力は、文脈自由文法を超えて、確率的モデルでどのように活用できるか？
• RQ5 重複するまたは分離された性質がある場合、正確な推論と近似の間の計算的トレードオフは何か？

主な発見

• 提案された反復スケーリングアルゴリズムは、不完全なデータからの対数線形モデルのパラメータ推定に成功し、先行研究をより広いクラスの確率的モデルへと拡張した。
• 導出過程でスコアが最も高い部分証明木を動的に選択することで、最も確率の高い解析の効率的探索が可能になった。
• 性質選択が学習プロセスに統合されており、完全にラベル付けされた訓練データが不要な状態で、情報量の多い特徴を自動的に同定できる。
• このフレームワークは、Magermanの決定木パーサーやBodの木置換モデルといった既存のアプローチを一般化し、統一的な対数線形形式に統合している。
• 重複または分離された部分木の性質がある場合、正確な動的計画法が非効率になるが、近似手法が有効に機能し、計算の実行可能性を維持している。
• 文脈自由文法よりも豊かな言語的制約をサポートするため、確率的パーサーにおける自然言語現象のより正確なモデリングが可能になった。