[論文レビュー] Developing and Evaluating a Probabilistic LR Parser of Part-of-Speech and Punctuation Labels

Ted Briscoe, John A. Carroll|arXiv (Cornell University)|Sep 20, 1995

Natural Language Processing Techniques参考文献 17被引用数 26

ひとこと要約

本稿では、品詞および標点記号ラベルを用いて、堅牢でドメインに依存しない構文解析を実現する確率的LRパーサーを提示する。括弧付きの訓練データからの確率推定値と統一に基づく文法を統合することで、標点記号が解析精度を著しく向上させることを示した。実験により、入力に標点記号を含めることで測定可能な性能向上が得られることを確認した。

ABSTRACT

We describe an approach to robust domain-independent syntactic parsing of unrestricted naturally-occurring (English) input. The technique involves parsing sequences of part-of-speech and punctuation labels using a unification-based grammar coupled with a probabilistic LR parser. We describe the coverage of several corpora using this grammar and report the results of a parsing experiment using probabilities derived from bracketed training data. We report the first substantial experiments to assess the contribution of punctuation to deriving an accurate syntactic analysis, by parsing identical texts both with and without naturally-occurring punctuation marks.

研究の動機と目的

• 制限のない自然言語入力を処理できる、堅牢でドメインに依存しない構文パーサーの開発。
• 標点記号の構文解析精度への寄与を、標点記号ありとなしの結果を比較することで調査すること。
• 品詞と標点記号のシーケンスに対する統一に基づく文法と確率的LRパーサーの統合効果を評価すること。
• 括弧付きの訓練データから導出された確率を用いて、パーサーの性能を評価すること。

提案手法

• パーサーは生テキストではなく、品詞および標点記号ラベルのシーケンスを処理する。
• 構文的制約および関係を表現するために、統一に基づく文法が用いられる。
• 確率的LRパーサーが適用され、確率は括弧付きの訓練コーパスから推定される。
• 同じテキストを標点記号ありとなしで解析することで、標点記号の影響を分離する。
• 複数のコーパスのカバレッジを報告することで、堅牢性および一般化性能を示す。

実験結果

リサーチクエスチョン

• RQ1 ドメインに依存しない設定において、標点記号を含めることで構文解析精度はどの程度向上するか？
• RQ2 品詞および標点記号ラベルのシーケンスを解析する確率的LRパーサーの性能はいかがなものか？
• RQ3 品詞タグのみと比較して、標点記号の構文解析への寄与は何か？
• RQ4 統一に基づく文法と確率的LRパーサーを併用した場合、構文解析にどの程度有効であるか？

主な発見

• 標点記号を含めることで解析精度が顕著に向上することが、測定可能な性能向上により実証された。
• 本パーサーは、品詞および標点記号ラベルのみを用いて、複数のコーパスで堅牢なカバレッジを達成した。
• 統一に基づく文法と確率的LRパーサーの統合により、完全な語彙入力を必要とせずに正確な構文解析が可能になった。
• 本研究は、標点記号の役割を制御された実験（標点記号ありとなし）を用いて、実証的に評価した最初の包括的かつ実質的な研究である。