[論文レビュー] Statistical Decision-Tree Models for Parsing

David M. Magerman|ArXiv.org|Apr 29, 1995

Natural Language Processing Techniques参考文献 4被引用数 46

ひとこと要約

この論文では、大規模なアノテート済みコーパスから手動の文法設計に依存せずに意味の曖昧さを解消するルールを自動的に導出する統計的パーサー、SPATTERを紹介する。文脈に依存する決定木を用いてパーサーの意思決定を確率論的にモデル化することで、40語以下の文についてWall Street Journalコーパスで86%の精度と86%の再現率を達成し、ルールベースのパーサーを著しく上回った。

ABSTRACT

Syntactic natural language parsers have shown themselves to be inadequate for processing highly-ambiguous large-vocabulary text, as is evidenced by their poor performance on domains like the Wall Street Journal, and by the movement away from parsing-based approaches to text-processing in general. In this paper, I describe SPATTER, a statistical parser based on decision-tree learning techniques which constructs a complete parse for every sentence and achieves accuracy rates far better than any published result. This work is based on the following premises: (1) grammars are too complex and detailed to develop manually for most interesting domains; (2) parsing models must rely heavily on lexical and contextual information to analyze sentences accurately; and (3) existing {$n$}-gram modeling techniques are inadequate for parsing models. In experiments comparing SPATTER with IBM's computer manuals parser, SPATTER significantly outperforms the grammar-based parser. Evaluating SPATTER against the Penn Treebank Wall Street Journal corpus using the PARSEVAL measures, SPATTER achieves 86\% precision, 86\% recall, and 1.3 crossing brackets per sentence for sentences of 40 words or less, and 91\% precision, 90\% recall, and 0.5 crossing brackets for sentences between 10 and 20 words in length.

研究の動機と目的

• 手作業による文法の設計に依存せずに、大規模コーパスから意味の曖昧さを解消するルールを自動的に学習するパーサーシステムの開発。
• 長距離依存関係や語彙的文脈を捉えることが難しい従来のn-gramおよび文法的自由文法モデルの限界を克服すること。
• 統計的意思決定木を活用することで、Wall Street Journalのような曖昧で大規模語彙を含むドメインにおけるパーサーの精度を向上させること。
• 意思決定木モデルが、パーサーに必要な関連する文脈的特徴を効果的に捉えつつ、計算的に扱える範囲に保てるかどうかを示すこと。

提案手法

• SPATTERは、語、句構造的関係、および以前に構築された構成要素といった文脈的特徴に基づいて、各パーサー意思決定の確率をモデル化する統計的決定木を用いる。
• 完全な解析木の確率は、直前の意思決定と文の文脈を条件として、各意思決定の条件付き確率の積として推定される：$ P(T|S) = \prod_{d_i \in T} P(d_i | d_{i-1}, \dots, d_1, S) $。
• 計算時間とメモリ使用量の制限内で、最も確率の高い解析木を効率的に探索するために、幅優先探索と確率的プルーニングを組み合わせたスタックデコーダーが使用される。
• 事前にアノテートされた品詞タグに依存せずに、すべての可能なタグ列の推定確率を考慮することで、同時タギングとパーサー処理が実現される。
• 意思決定木は、大規模なアノテート済みコーパス上で情報理論的分類アルゴリズムを用いて学習され、自動的な特徴選択とパrameter推定が可能になる。
• パーサーの評価には、PARSEVAL指標（精度、再現率、クロスブラケット数）が、Penn TreebankのWall Street Journalセクション00を対象として用いられる。

実験結果

リサーチクエスチョン

• RQ1 手作業による文法設計を一切行わずに、大規模なアノテート済みコーパスから意思決定木学習技術を用いてパーサールールを効果的に導出できるか？
• RQ2 意思決定木に基づく文脈に依存する統計的モデルは、ルールベースまたはn-gramベースのパーサーと比較して、どの程度パーサーの精度に優れているか？
• RQ3 意思決定木モデルは、正確なパーサーに不可欠な長距離の語彙的および構造的依存関係をどの程度捉えることができるか？
• RQ4 限られた言語的知識しか持たないパーサーは、現実世界の曖昧なテキストにおいて、文法ベースのシステムと同等またはそれ以上の性能を達成できるか？

主な発見

• SPATTERは、Wall Street Journalコーパスの40語以下である文で86.3%の精度と85.8%の再現率を達成し、1文あたり1.33個のクロスブラケットを記録した。
• 短い文（10〜20語）では、SPATTERは90.8%の精度と90.3%の再現率を達成し、1文あたり0.49個のクロスブラケットにとどまった。
• 全文長範囲にわたり96.5%のタギング精度を維持しており、品詞のラベル付けが非常に安定していることが示された。
• 10〜20語の文の73%以上でクロスブラケットがゼロであり、95%以上が2個以下であったため、構造の整合性が極めて高いことがわかった。
• 28語程度までは性能がゆっくりと低下し、それ以上になるとばらつきが増加する傾向を示しており、長文における性能の上限があることが示唆された。
• SPATTERはIBMの文法ベースのコンピュータマニュアルパーサーを著しく上回り、パーサーにおけるデータ駆動型意思決定木モデルの優位性を実証した。