[論文レビュー] Towards History-based Grammars: Using Richer Models for Probabilistic Parsing

Ezra Black, Fred Jelinek+4 more|ArXiv.org|May 3, 1994

Natural Language Processing Techniques被引用数 29

ひとこと要約

この論文は、構文解析木の導出から得られる語彙的、句構造的、意味的、構造的情報を含む豊富な言語的文脈を活用して曖昧性を解消する確率的構文解析モデル、History-Based Grammars (HBG) を導入する。Penn Treebank で学習された決定木を用いて左端導出からの文脈をモデル化することで、HBG は 75% の Viterbi 構文解析精度を達成し、最先端の P-CFG モデルの 60% より顕著に優れており、誤差率は相対的に 25% 減少している。

ABSTRACT

We describe a generative probabilistic model of natural language, which we call HBG, that takes advantage of detailed linguistic information to resolve ambiguity. HBG incorporates lexical, syntactic, semantic, and structural information from the parse tree into the disambiguation process in a novel way. We use a corpus of bracketed sentences, called a Treebank, in combination with decision tree building to tease out the relevant aspects of a parse tree that will determine the correct parse of a sentence. This stands in contrast to the usual approach of further grammar tailoring via the usual linguistic introspection in the hope of generating the correct parse. In head-to-head tests against one of the best existing robust probabilistic parsing models, which we call P-CFG, the HBG model significantly outperforms P-CFG, increasing the parsing accuracy rate from 60% to 75%, a 37% reduction in error.

研究の動機と目的

• 標準的な n-gram やルールベースのモデルを超えた詳細な言語的文脈を組み込むことで、自然言語の構文解析における構造的・意味的曖昧性を解消すること。
• 即時の隣接語に限らず、構文解析木の全導出履歴からの文脈をモデル化する確率的構文解析フレームワークの開発。
• 複雑であっても、適切に学習された場合、より豊かな文脈モデル化が構文解析精度に明確な向上をもたらすことを示すこと。
• 確率的モデルにおける文脈の豊かさを高めることで、特に困難な句構造的構造において、より良い曖昧性解消が達成できるかどうかの検討。

提案手法

• HBG は文 w とその構文解析木 T の同時確率 P(T; w) をモデル化し、すべての可能な木の中から尤もらしいものを argmax で選択する。
• 文脈は左端導出に基づいて定義され、非終端記号ノードをインデックス化し、規則適用の履歴とその親ノードを抽出する。
• 2種類の親ノードが使用される：即時の親（直接支配者）と機能的親（句構造的役割を決定するもの）であり、これによりユニット生成規則の処理が向上する。
• 決定木は Treebank データで学習され、履歴を分類しエントロピーを最小化することで、文脈的特徴が正しい規則適用を予測する方法を学習する。
• 導出履歴から得られる構文的カテゴリ、意味的役割、語彙的頭部、構造的位置などの特徴を組み込み、構文解析意思決定を支援する。
• 学習プロセスでは約 10,000 の文-木ペアが使用され、約 240,000 個の履歴-規則タプルが生成され、約 40,000 ノードを持つ決定木が学習される。

実験結果

リサーチクエスチョン

• RQ1 全導出履歴からの豊富な言語的文脈を組み込む確率的構文解析モデルが、構文解析精度を顕著に向上させられるか。
• RQ2 即時の親に加えて機能的親を文脈モデルに組み込むことで、即時の親や n-gram のみに依存する場合よりも曖昧性がより良く解消されるか。
• RQ3 統計的パーサーにおける文脈的特徴の複雑さを高めると、ある時点で利得の逓減が生じるか。
• RQ4 決定木が複雑な導出履歴を正しく構文規則適用にマッピングする能力を効果的に学習できるか。

主な発見

• HBG は 7 から 17 語の文で 75% の Viterbi 構文解析精度を達成したのに対し、P-CFG モデルは 60% であり、誤差率は相対的に 25% 減少している。
• この向上は統計的に有意であり、より豊かな文脈モデル化が、構文解析における曖昧性解消に寄与することを示している。
• 全導出履歴を使わず、即時の親と機能的親の特徴のみを用いた HBG の簡易版は 66% の精度を達成しており、より豊かな文脈による段階的向上が確認された。
• 実験の結果、より複雑なモデルは HBG よりわずかに性能が劣るが、これは訓練データが不足しているためであり、より大きなコーパスが利用可能であればさらなる向上が期待できる。
• 決定木の使用により、高次元の文脈的特徴に対する効果的なパrameter 推定が可能となり、複雑なモデルの実行可能性が確保された。
• 機能的親機構は、NP → NP のようなユニット生成規則における曖昧性を効果的に解消できており、即時の親のみでは不十分な場合に有効である。