[論文レビュー] Apportioning Development Effort in a Probabilistic LR Parsing System through Evaluation

John A. Carroll, Ted Briscoe|ArXiv.org|Apr 12, 1996

Natural Language Processing Techniques参考文献 22被引用数 39

ひとこと要約

この論文は、文法的制約を緩和し、標点と品詞タグ列を利用することで、一般英語テキストで約80%の文のカバレッジを達成する、頑健でドメインに依存しない確率的LRパーサーを提示する。このシステムは、パース履歴の頻度に基づく教師あり学習を用いてLALR(1)遷移の確率を割り当て、限られた訓練データでも正確なパース選択を可能にする。また、67–75%のカバレッジと高い正確率・再現率（84%/83%）が、最小限のデータで達成可能であり、包括的な文法的制約フレームへの依存を低減できることを示している。

ABSTRACT

We describe an implemented system for robust domain-independent syntactic parsing of English, using a unification-based grammar of part-of-speech and punctuation labels coupled with a probabilistic LR parser. We present evaluations of the system's performance along several different dimensions; these enable us to assess the contribution that each individual part is making to the success of the system as a whole, and thus prioritise the effort to be devoted to its further enhancement. Currently, the system is able to parse around 80% of sentences in a substantial corpus of general text containing a number of distinct genres. On a random sample of 250 such sentences the system has a mean crossing bracket rate of 0.71 and recall and precision of 83% and 84% respectively when evaluated against manually-disambiguated analyses.

研究の動機と目的

• 制約のない自然言語入力を処理できる、頑健でドメインに依存しない構文解析器の開発。
• 標点処理、品詞タグ、文法規則といった個々のモジュールが全体の性能に与える寄与を評価し、開発の優先順位を導く。
• 限られた訓練データでも高精度なパース選択が可能かどうかを評価し、大規模なアノテート済みコーパスへの依存を減らす。
• 小規模から中規模のツリー・バンクとやや手作業の努力で、他の言語への移植可能性を検討する。
• 語彙的確率モデルがさらにパースの正確性を向上させ、生テキストからの構文的構造の回復を支援できるかどうかを調査する。

提案手法

• システムは、ANLT形式に基づく統合的で特徴構造を持つ文法を用い、品詞ラベル列を記述し、約400の規則で構成されるDCGに類似した構造にコンパイルする。
• LALR(1)状態と先読みアイテムに条件付けられた確率的LRパーサーを採用し、パース履歴頻度に基づく教師あり学習により遷移確率を割り当てる。
• カバレッジを向上させるために文法的制約（subcategorization constraints）を排除し、文の構文的曖昧さを低減するために標点と品詞タグ列を活用する。
• 訓練済みの確率的モデルを用いて、n番目に高い尤もらしさを持つ導出をランク付けし、パース選択を実行する。統合失敗により無効な導出を除外する。
• ホールドアウトテストセットを用いた複数の指標（カバレッジ、クロスブレケット率、正確率、再現率、GEIGスコア）を用いてシステム性能を評価する。
• 訓練データ量の変化を変化させ、データ効率を評価する。3793本のツリーからなるコーパスからランダムサブセットを用い、精度の低下を測定する。

実験結果

リサーチクエスチョン

• RQ1 文法的制約をどれだけ緩和してもパースの正確性を損なわず、カバレッジにどのような影響を与えるのか。
• RQ2 確率的LRパーサーにおいて、標点と品詞タグ列は構文的曖昧さをどれほど効果的に低減できるか。
• RQ3 このシステムで高精度なパース選択を達成するために、どの程度の訓練データが必要か。
• RQ4 性能の上限はどこか。さらにデータを増やしても、過学習や利得の逓減の兆候が現れるか。
• RQ5 小規模なツリー・バンクとやや手作業の努力で、このシステムを他の言語に移植可能か。

主な発見

• 一般英語コーパスにおいて、システムは約80%の文カバレッジを達成し、従来の文法的制約依存型システムに比べ顕著な向上を示した。
• ホールドアウトテストセット（250文）において、平均クロスブレケット率は0.71、手動で曇りのない解析と比較して再現率83%、正確率84%を達成した。
• 全訓練データの1/64（59本）のデータのみで学習した場合でも、10–20%の精度低下にとどまり、高いデータ効率を示した。
• ドメイン内テストセットでは、カバレッジが約75%、正確率・再現率が77–78%に漸近し、さらなるコーパス拡張による恩恵は限定的であることが示唆された。
• 文法的制約がなくてもシステムは頑健に動作し、標点と品詞タグ列が更げの曇りを効果的に代替できることを示した。
• 結果から、約2万語のツリー・バンクデータと約12人月の手作業の努力で、他の言語への移植が現実的に行える可能性があると示唆された。