[論文レビュー] The intersection of Finite State Automata and Definite Clause Grammars

Gertjan van Noord|ArXiv.org|Apr 28, 1995

Natural Language Processing Techniques参考文献 8被引用数 7

ひとこと要約

この論文は、ベルナルド・ランのFSA-CFGパースィングフレームワークを、確定節文法（DCGs）へ一般化し、有限状態オートマトン（FSA）を入力とするパーサーの拡張が可能であることを示している。主な貢献は、FSAとDCGの積集合が空であるかどうかを判定することは、すら、決定不能であることを示したことである—すなわち、オフラインでパース可能なDCGに対しても同様に成り立つ—これは、統合文法に基づくロバストパーサーにおける根本的な制限を示している。

ABSTRACT

Bernard Lang defines parsing as the calculation of the intersection of a FSA (the input) and a CFG. Viewing the input for parsing as a FSA rather than as a string combines well with some approaches in speech understanding systems, in which parsing takes a word lattice as input (rather than a word string). Furthermore, certain techniques for robust parsing can be modelled as finite state transducers. In this paper we investigate how we can generalize this approach for unification grammars. In particular we will concentrate on how we might the calculation of the intersection of a FSA and a DCG. It is shown that existing parsing algorithms can be easily extended for FSA inputs. However, we also show that the termination properties change drastically: we show that it is undecidable whether the intersection of a FSA and a DCG is empty (even if the DCG is off-line parsable). Furthermore we discuss approaches to cope with the problem.

研究の動機と目的

• ベルナルド・ランのFSA-CFGパースィングフレームワークを、確定節文法（DCGs）へ拡張し、有限状態オートマトン（FSA）を入力とするパーサーを可能にする。
• FSA入力が、音声理解システムにおける語ラティスや、有限状態トランスダーサーによるロバストパーサー技術において、どのように語彙的・構文的制約をモデル化できるかを調査する。
• FSAとDCGの積集合に関する終了性および決定可能性の性質を分析する。特に、空集合チェックに焦点を当てる。
• FSAとDCGのパーサー機構を統合する際に生じる根本的な計算的課題を特定し、それに対処する。

提案手法

• 入力を文字列ではなく有限状態オートマトン（FSA）として扱うことで、元来文字列入力用に設計されたパーサーのアルゴリズムをFSA入力用に適応する。
• 入力（有限状態オートマトン）と文法（DCG）の間の積集合の計算としてパーサーのプロセスをモデル化する。
• DCGが複雑な構文的・意味的制約を表現できる能力を活かし、FSA-DCG積集合に統合ベースのパーサーの概念を適用する。
• 形式言語理論を用いて、積集合演算の計算複雑性を分析し、特に終了性と決定可能性に焦点を当てる。
• 既知の決定不能問題への還元を用いて、FSA-DCG積集合の空集合判定が決定不能であることを証明する。
• 実用的パーサー応用において非終了性を管理するためのヒューリスティクスや近似手法について議論する。

実験結果

リサーチクエスチョン

• RQ1 DCG用に設計された標準的なパーサーのアルゴリズムは、文字列の代わりに有限状態オートマトン（FSA）を入力として処理できるか？
• RQ2 有限状態オートマトン（FSA）とDCGの積集合に関する計算的性質—特に終了性と決定可能性—は何か？
• RQ3 オフラインでパース可能な制限下でも、与えられたFSAとDCGの積集合が空であるかどうかは決定可能か？
• RQ4 FSA入力を用いた実用的ロバストパーサーにおいて、空集合判定の決定不能性はどのように扱えるか？

主な発見

• DCG用に既存のパーサーのアルゴリズムは、FSA入力に対しても自然に拡張可能であり、そのコアとなるパーサー機構を保持する。
• FSAとDCGの積集合は原則として計算可能であるが、無限の導出が生じるため、終了しない可能性がある。
• FSAとDCGの積集合が空であるかどうかは、決定不能である—オフラインでパース可能なDCGに対しても同様に成り立つ—これは、一般のアルゴリズムが空集合判定を決定できないことを示唆する。
• 決定不能性の原因は、DCGの表現力とFSAの構造の組み合わせに起因し、無限の探索空間が生じる可能性がある。
• この決定不能性は、語ラティスなどのFSA入力を必要とするロバストパーサーに根本的な挑戦を突きつける。
• 実用的アプローチでは、ヒューリスティクス、刈込、または近似手法に依存して非終了性を管理し、計算の可能性を保証する必要がある。