[論文レビュー] Natural Language Parsing as Statistical Pattern Recognition

David M. Magerman|arXiv (Cornell University)|May 3, 1994

Natural Language Processing Techniques参考文献 50被引用数 226

ひとこと要約

この論文は、言語的ルールを用いずにアノテート済みコーパス上で訓練された統計的パターン認識アプローチを自然言語解析に提案する。局所的な句構造的特徴に基づく最大エントロピーモデルを用い、テストセットで78%の正確性を達成した。これは文法ベースのパーサーの69%を上回るが、正確なゴールスタンダードと完全に一致する構文解析は35%にとどまり、特徴表現および語彙的変形の一般化における限界を示している。

ABSTRACT

Traditional natural language parsers are based on rewrite rule systems developed in an arduous, time-consuming manner by grammarians. A majority of the grammarian's efforts are devoted to the disambiguation process, first hypothesizing rules which dictate constituent categories and relationships among words in ambiguous sentences, and then seeking exceptions and corrections to these rules. In this work, I propose an automatic method for acquiring a statistical parser from a set of parsed sentences which takes advantage of some initial linguistic input, but avoids the pitfalls of the iterative and seemingly endless grammar development process. Based on distributionally-derived and linguistically-based features of language, this parser acquires a set of statistical decision trees which assign a probability distribution on the space of parse trees given the input sentence. These decision trees take advantage of significant amount of contextual information, potentially including all of the lexical information in the sentence, to produce highly accurate statistical models of the disambiguation process. By basing the disambiguation criteria selection on entropy reduction rather than human intuition, this parser development method is able to consider more sentences than a human grammarian can when making individual disambiguation rules. In experiments between a parser, acquired using this statistical framework, and a grammarian's rule-based parser, developed over a ten-year period, both using the same training material and test sentences, the decision tree parser significantly outperformed the grammar-based parser on the accuracy measure which the grammarian was trying to maximize, achieving an accuracy of 78% compared to the grammar-based parser's 69%.

研究の動機と目的

• アノテート済みコーパス上で訓練された統計モデルが、明示的な言語的ルールなしに高い解析正確性を達成できることを示すこと。
• ベンチマークデータ上で文法ベースの文法が支配的であるのを挑戦し、統計モデルがそれらを上回ることを示すこと。
• 現在の統計的パーサーの限界、特に語彙的および構文的一般化の処理における限界を特定すること。
• 言語学者が複雑なルールシステムを書く代わりに、曖昧性解消基準を特定することで統計的パーサーに貢献できると主張すること。
• 大量のコーパスを必要としない限られたアノテート済みデータで統計的パーサーをスケーリング可能かどうかを検討すること。

提案手法

• 局所的な構文的および語彙的特徴に基づいてパーサーの意思決定を学習するため、解析済みコーパス上で最大エントロピーモデルを訓練すること。
• 品詞タグ、語形、構造的文脈（例：左/右の兄弟、スパン長さ）を含む特徴空間を用いてパーサーの意思決定を表現すること。
• 非終端記号ラベル、品詞タグ、構文的特徴のビットストリング符号化を用いた階層的特徴表現を採用すること。
• 与えられた文に対して最も確率の高い構文解析木を予測するための条件付き確率モデルを用い、訓練データ上で尤度を最大化すること。
• 反復的スムージングとパープレキシティに基づくモデル選択を用いて特徴重みを最適化し、一般化性能を向上させること。
• 構文的括弧の正確性を測る標準指標としてクロッシング・ブラケット測定法を用いて性能を評価すること。

実験結果

リサーチクエスチョン

• RQ1 アノテート済みコーパスにのみ依存して訓練された統計的パーサーは、言語的ルール工学なしに文法ベースのパーサーを上回ることができるか？
• RQ2 語彙的特徴表現（例：語彙的変形、語類）が解析正確性および一般化性能に与える影響は何か？
• RQ3 クロッシング・ブラケット測定法で高い正確性を示しているにもかかわらず、統計的に訓練されたパーサーが人間がアノテートした解析結果と完全に一致しないのはなぜか？
• RQ4 明示的な言語的特徴なしに、統計モデルは語彙的変形（例：単数/複数名詞、時制付き/なし動詞）の間でどの程度一般化できるか？
• RQ5 ルールの作成ではなく、曖昧性解消基準の特定を通じて、言語学者は統計的パーサーにどのようにより効果的に貢献できるか？

主な発見

• 統計的パーサーはクロッシング・ブラケット測定法で78%の正確性を達成し、文法ベースのパーサーの69%を顕著に上回った。
• 統計的パーサーの解析結果のうち正確にゴールスタンダードと一致するのはわずか35%にとどまり、高い括弧正確性にもかかわらず、構造的誤りが顕著に存在することを示している。
• 品詞タグの誤りを除いた後でも、約50%の解析結果が正確に一致しており、括弧レベルの正確性と完全構造正確性の間のギャップが顕著である。
• パーサーは語彙的一般化に苦労していた：単数名詞と複数名詞は関連づけられておらず、時制なし動詞は時制付き形と結びつけられていなかった。
• 誤り分析から、特に語彙的変形および構文的依存関係の観点で、特徴表現の言語的洗練の欠如が主な制限要因であることが明らかになった。
• 本研究は、統計モデルがルールベースのシステムを置き換えることは可能であるが、言語学者はルールの作成ではなく、統計モデルが学習すべき曖昧性解消基準を特定することによって、依然として不可欠であると結論づける。