[論文レビュー] A probabilistic top-down parser for minimalist grammars

Thomas Mainguy|arXiv (Cornell University)|Oct 9, 2010

Algorithms and Data Compression参考文献 5被引用数 8

ひとこと要約

この論文は、最小主義文法（MGs）を線形文脈自由書き換え系（LCFRS）に変換することで、予測性能を備えた段階的で左から右へのパーサーを確率的に行う手法を提示する。この方法は、文脈木重み付け（CTW）アルゴリズムを用いた確率的規則条件付けにより、特に曖昧な文やガーデン・パス文の処理において、パーサーの効率と正確性を向上させる。

ABSTRACT

This paper describes a probabilistic top-down parser for minimalist grammars. Top-down parsers have the great advantage of having a certain predictive power during the parsing, which takes place in a left-to-right reading of the sentence. Such parsers have already been well-implemented and studied in the case of Context-Free Grammars, which are already top-down, but these are difficult to adapt to Minimalist Grammars, which generate sentences bottom-up. I propose here a way of rewriting Minimalist Grammars as Linear Context-Free Rewriting Systems, allowing to easily create a top-down parser. This rewriting allows also to put a probabilistic field on these grammars, which can be used to accelerate the parser. Finally, I propose a method of refining the probabilistic field by using algorithms used in data compression.

研究の動機と目的

• 最小主義文法（MGs）のトップダウン的で段階的なパーサーを可能にすること。MGsは本質的にボトムアップの導出をとる。
• 従来のトップダウンパーサーがMGsの典型的な移動操作を処理する際の制限を克服すること。
• MGsを再表現することで、LCFRSに由来する導出木としての形式的枠組みを導入し、確率的フレームワークを提供すること。
• 学習済みの規則確率を文脈に応じて条件づけることで、ビームサーチを用いたパーサーの効率を向上させること。
• 文脈木重み付け（CTW）アルゴリズムを用いて確率推定を精緻化し、規則の一般化性能を向上させること。

提案手法

• 導出木をモデル化することで、導出木ではなく導出木を対象とする最小主義文法（MGs）を線形文脈自由書き換え系（LCFRS）に変換する。
• MG形式に従い、カテゴリー、セレクタ、ライセンシー、ライセンサーを用いて構文的特徴を表現し、導出進行を追跡するためのドット記法を導入する。
• マージおよび移動操作のための推論規則を定義し、トップダウン的で左から右への順序で導出木を生成する。
• 初期の確率推定として、Krichevski-Trofimov推定またはゼロ冗長性推定を用いて、導出木パスへの確率を割り当てる。
• 解析の履歴としての直近に適用された規則のシーケンスに基づき、規則確率を文脈木重み付け（CTW）アルゴリズムで条件づける。
• ビームサーチをパーサーに実装し、条件づけられた確率に基づいて低確率の導出パスを pruning することで、パーサーの高速化を実現する。

実験結果

リサーチクエスチョン

• RQ1 最小主義文法（MGs）は、トップダウン的で段階的なパーサーに適した形に効果的に変換可能か？
• RQ2 MGsの導出木に対して、効率的なパーサーを実現するための確率的規則重みをどのように割り当てるか？
• RQ3 解析文脈に基づいて規則確率を条件づけることで、パーサーの正確性と効率性がどの程度向上するか？
• RQ4 文脈木重み付け（CTW）アルゴリズムは、トップダウンのMGパーサーにおける規則確率の条件づけに効果的に適応可能か？
• RQ5 確率的プルーニングを伴うビームサーチを用いることで、曖昧な文やガーデン・パス文の処理能力にどのような影響を与えるか？

主な発見

• MGsをLCFRSに変換することで、人間の文処理に類似したトップダウン的で段階的なパーサー戦略が可能になる。
• 確率的フレームワークによりビームサーチが可能となり、低確率の導出パスをプルーニングすることで、パーサーの高速化が顕著に達成される。
• CTWアルゴリズムによる規則確率の条件づけは、特にデータが希な状況下でも規則の尤もらしさの推定を改善する。
• 文脈に依存する規則条件づけにより、構文的依存関係が適切にモデル化され、パーサーにとって不可欠なcコマンディング・ヘッド情報が捉えられる。
• ゼロ冗長性推定は、稀なまたは観測されない規則シーケンスの処理において性能を向上させ、特に1つの規則タイプしか可能でない状況で顕著に効果を発揮する。
• 文脈に依存する規則確率を活用することで、曖昧な文やガーデン・パス文の処理において、パーサーのロバスト性が向上する。