[論文レビュー] Syntactic Analysis by Local Grammars Automata: an Efficient Algorithm

Mehryar Mohri|ArXiv.org|Jul 4, 1994

DNA and Biological Computing参考文献 6被引用数 14

ひとこと要約

この論文は、有限状態オートマトンとして表現された局所的文法を用いて、失敗関数を活用してテキスト内の禁止語系列を検出することで、構文解析を効率的に行うアルゴリズムを提示する。この手法により、語彙化済みテキストにおける曖昧性が著しく低減され、最適な時間計算量を持つオートマトンベースのフィルタリングが可能となり、大規模な文法制約のスケーラブルな処理が実現される。

ABSTRACT

Local grammars can be represented in a very convenient way by automata. This paper describes and illustrates an efficient algorithm for the application of local grammars put in this form to lemmatized texts.

研究の動機と目的

• 局所的文法を有限状態オートマトンとして表現することで、語彙化済みテキストにおける構文的曖昧性を低減すること。
• オートマトンの積と失敗関数を用いて、テキスト内における複数の禁止語系列を効率的に検出するための効率的アルゴリズムを開発すること。
• その和集合が非常に大きくなっても、局所的文法のスケーラブルな適用を可能にすること。
• オートマトン形式で、否定的（禁止系列）および肯定的（必須継続）ルール表現を両方サポートすること。

提案手法

• 禁止語系列を符号化する有限状態オートマトンとして局所的文法を表現する。
• Aho-Corasick に由来する失敗関数を用いて、オートマトンベースのパターン検出における系列マッチングを最適化する。
• オートマトンの積を適用して、禁止系列を含む経路を削除することで、テキストオートマトンをフィルタリングする。
• 系列マッチング中の時間計算量を向上させるために、失敗関数の概念をオートマトンへ拡張する。
• 否定的および肯定的ルール表現を両方サポート：禁止系列（否定的）および最終状態を用いた必須継続（肯定的）。
• キューを用いた状態構築アルゴリズムを採用し、テキストオートマトンと文法オートマトンの積を効率的に計算する。

実験結果

リサーチクエスチョン

• RQ1 どのようにして局所的文法を効率的に適用し、語彙化済みテキストにおける構文的曖昧性を低減できるか？
• RQ2 テキストオートマトン内で複数の禁止語系列を検出するためのアルゴリズム的改善は何か？
• RQ3 失敗関数の使用が、オートマトンベースの構文フィルタリングの効率性をどのように向上させるか？
• RQ4 否定的および肯定的局所的文法ルールを、同一のオートマトンフレームワーク内で一様に処理できるか？
• RQ5 局所的文法オートマトンの和集合が非常に大きくなった場合、提案手法のスケーラビリティはどの程度か？

主な発見

• Aho-Corasick の失敗関数をオートマトンに拡張することで、最適な時間計算量を達成し、禁止語系列の効率的検出が可能となった。
• アルゴリズムは、テキストオートマトン内の曖昧な経路を効果的にフィルタリングし、誤った構文解析の数を著しく低減した。
• 実験結果から、このアルゴリズムは良好にスケーリングされ、数百状態に達する局所的文法の和集合に対しても処理可能であることが示された。
• 最終状態と遷移制約を用いることで、否定的（禁止系列）および肯定的（必須継続）ルール表現の両方をサポートする。
• このアルゴリズムは、オートマトン入力における交差やパターンマッチングなど、他のオートマトン操作へも一般化可能である。
• 68040 33MHz および i486 50MHz のシステム上での実装により、実世界の NLP 応用において実用的な効率性が確認された。