[論文レビュー] Tabular Parsing

Mark-Jan Nederhof, Giorgio Satta|arXiv (Cornell University)|Apr 5, 2004

semigroups and automata theory被引用数 6

ひとこと要約

このチュートリアルでは、非決定的スタックオートマトンに基づく表形式のパースフレームワークを提示し、Earley法やCKY法といった主要なパースアルゴリズムを統合する。表形式化が文脈自由文法の効率的パースを可能にし、明確なパースツリーの構築と計算量の解析を示している。

ABSTRACT

This is a tutorial on tabular parsing, on the basis of tabulation of nondeterministic push-down automata. Discussed are Earley's algorithm, the Cocke-Kasami-Younger algorithm, tabular LR parsing, the construction of parse trees, and further issues.

研究の動機と目的

• 非決定的スタックオートマトンに基づく表形式パース技術の統一的チュートリアルフレームワークを提供すること。
• 表形式化が文脈自由文法のパースアルゴリズムの実装と解析をどのように簡素化するかを説明すること。
• 表形式表現からパースツリーをどのように構築できるかを示すこと。
• さまざまなパース戦略の計算量と実用的効率を調査すること。

提案手法

• 中間のパース状態を表形式で表現することで、非決定的スタックオートマトン上で動的計画法を可能にする。
• 部分的パースを表すアイテムの集合を維持することで、Earley法を用いて文字列をパースする。
• 下向き動的計画法を用いて、CNF（チョムスキー正規形）におけるCKY法によるパースを実行する。
• 前方参照と状態遷移をサポートする、表形式LRパースを拡張することで、効率的な下向きパースを実現する。
• パーステーブルを逆方向にバックトラックすることで、表形式の結果から完全なパースツリーを構築する。
• 標準的な漸近的表記を用いて、各アルゴリズムの時間計算量と空間計算量を分析する。

実験結果

リサーチクエスチョン

• RQ1 表形式化は、複数のパースアルゴリズムの実装をどのように統一的かつ簡素化できるか？
• RQ2 Earley法、CKY法、表形式LRパースの間には、構造的および計算的差異は何か？
• RQ3 表形式表現から完全なパースツリーをどのように再構築できるか？
• RQ4 異なる文法形態におけるこれらの表形式パース手法の時間計算量と空間計算量は何か？

主な発見

• 表形式パースは、動的計画法を用いて、複数のパースアルゴリズムの実装と解析を統一的なフレームワークで可能にする。
• CKY法はチョムスキー正規形の文法に対してO(n³)の時間計算量を達成し、固定構造のパースにおいて効率的である。
• Earley法は任意の文脈自由文法を扱えるが、最悪ケースではO(n³)の時間計算量を示し、多くの入力では平均的に優れた性能を発揮する。
• 表形式LRパースは、曖昧でない文法に対して線形時間性能を実現し、効率的な下向きパースを可能にする。
• パーステーブルのバックトラックを用いることで、表形式の結果からパースツリーを体系的に再構築できる。
• 表形式アプローチは、パースの計算量解析を簡素化し、インクリメンタルパースや並列パースの拡張実装を容易にする。