[論文レビュー] An Efficient Implementation of the Head-Corner Parser

Gertjan van Noord|University of Groningen research database (University of Groningen / Centre for Information Technology)|Jan 17, 1997

Natural Language Processing Techniques参考文献 30被引用数 74

ひとこと要約

本稿では、制約に基づく文法における効率的でメモ化されたヘッドコーナー解析器を提示し、ゴールの弱体化を用いることで、標準のチャート解析器と比較して、速度とメモリ効率が著しく向上している。実験の結果、複雑な文法において、左コーナー解析器およびボトムアップチャート解析器を上回り、語彙的曖昧性が低い場合に特に優れた性能を示しており、OVISシステムにおけるロバストで更がいのあるオランダ語会話文の解析において優れた性能を発揮している。

ABSTRACT

This paper describes an efficient and robust implementation of a bi-directional, head-driven parser for constraint-based grammars. This parser is developed for the OVIS system: a Dutch spoken dialogue system in which information about public transport can be obtained by telephone. After a review of the motivation for head-driven parsing strategies, and head-corner parsing in particular, a non-deterministic version of the head-corner parser is presented. A memoization technique is applied to obtain a fast parser. A goal-weakening technique is introduced which greatly improves average case efficiency, both in terms of speed and space requirements. I argue in favor of such a memoization strategy with goal-weakening in comparison with ordinary chart-parsers because such a strategy can be applied selectively and therefore enormously reduces the space requirements of the parser, while no practical loss in time-efficiency is observed. On the contrary, experiments are described in which head-corner and left-corner parsers implemented with selective memoization and goal weakening outperform `standard' chart parsers. The experiments include the grammar of the OVIS system and the Alvey NL Tools grammar. Head-corner parsing is a mix of bottom-up and top-down processing. Certain approaches towards robust parsing require purely bottom-up processing. Therefore, it seems that head-corner parsing is unsuitable for such robust parsing techniques. However, it is shown how underspecification (which arises very naturally in a logic programming environment) can be used in the head-corner parser to allow such robust parsing techniques. A particular robust parsing model is described which is implemented in OVIS.

研究の動機と目的

• スプokenダイアログシステムで使用される制約に基づく文法のための高速でメモリ効率の良い解析器を開発すること。
• 標準のチャート解析器が曖昧性や重複する規則適用に対処する際の非効率性に対処すること。
• 選択的メモ化とゴールの弱体化技術を通じて、解析性能を向上させること。
• OVISシステムの実世界的で曖昧なオランダ語文法を対象に、解析器のロバスト性と効率性を評価すること。
• ヘッドコーナー解析が、不完全記述の論理プログラミング環境においても、ロバストな解析を可能にするかを調査すること。

提案手法

• ヘッドの特定を最初に行い、その後その従属語を解析するというトップダウンとボトムアップ処理を統合する非決定的ヘッドコーナー解析器を設計した。
• 関連する解析状態のみをキャッシュする選択的メモ化を適用し、メモリ使用量を削減しながらも速度に影響を与えないようにした。
• 非効率な解析経路を早期に pruning するため、ゴールの弱体化を導入し、平均的な効率性を向上させた。
• 不完全記述を自然に表現できる論理プログラミング環境（Prolog）を用い、不確実性下でもロバストな解析を可能にした。
• 実装は2つの文法でテストされた：MiMo2文法（オランダ語会話）およびAlvey NL Tools文法（複雑で曖昧な文法）。
• 解析結果には完全な構文木の構築とメモリ使用量のメトリクスが含まれ、標準の左コーナー解析器およびボトムアップチャート解析器と比較された。

実験結果

リサーチクエスチョン

• RQ1 選択的メモ化とゴールの弱体化を併用したヘッドコーナー解析器は、速度とメモリ効率の面で標準のチャート解析器を上回ることができるか？
• RQ2 ヘッドコーナー解析器は高い語彙的曖昧性に対処できるか？また、ボトムアップアプローチと比較してスケーラビリティに優れているか？
• RQ3 論理プログラミング環境における不完全記述は、ヘッドコーナー解析におけるロバストな解析をどの程度支援できるか？
• RQ4 Alvey NL Tools文法ではなぜヘッドコーナー解析器がMiMo2文法よりも性能を発揮しないのか？
• RQ5 ゴールの弱体化と選択的メモ化による性能向上は、さまざまな文法的構造や文の複雑さに対して一貫しているか？

主な発見

• 選択的メモ化とゴールの弱体化を併用したヘッドコーナー解析器は、100文のテストセット（MiMo2文法）で1文あたり195.9 msの処理時間を記録し、左コーナー解析器（216.2 ms）を上回り、ボトムアップチャート解析器を著しく上回った。
• ボトムアップアクティブチャート解析器は、曖昧性の高い文ではメモリ制限に達し、65,000 KBを超えたが、ヘッドコーナー解析器はわずか10,955 KBのメモリ使用量にとどまった。
• Alvey NL Tools文法では、ヘッドコーナー解析器は左コーナー解析器よりも遅く、多くの語彙的項目がヘッドとして使用可能であるため、非決定的処理が増加し、恩恵が限定的であることが示された。
• 解析器の性能は語の列に対して優れていたが、語のグラフに対しては劣っていたことから、語のグラフにおける語彙的曖昧性の増加がヘッドコーナー解析の効率性を低下させることを示唆している。
• ゴールの弱体化により、不要な探索経路が削減され、完全性を損なわず、時間的・メモリ的効率が向上した。
• 結果として、標準のチャート解析より、選択的メモ化とゴールの弱体化が、曖昧性が低くヘッド主導の文法においてより効果的であることが確認された。