[論文レビュー] Finite-State Non-Concatenative Morphotactics

Kenneth R. Beesley, Lauri Karttunen|arXiv (Cornell University)|Jun 30, 2000

Natural Language Processing Techniques参考文献 15被引用数 12

ひとこと要約

この論文は、有限状態正規表現コンパイラを自身の出力に再適用するcompile-replaceアルゴリズムを紹介する。この手法により、マレー語のフルスタムリダプリケーションやアラビア語のステムインターディテーションといった非連結的モルフォタクティクスを有限状態トランスデューサーでモデル化できるようになった。従来の有限状態解析の根本的制限を克服し、連結以外の形での形態的記述を可能にし、有限状態操作の完全な利用を可能にするとともに、形態解析および生成におけるコンパイル効率と表現力の両方を著しく向上させる。

ABSTRACT

Finite-state morphology in the general tradition of the Two-Level and Xerox implementations has proved very successful in the production of robust morphological analyzer-generators, including many large-scale commercial systems. However, it has long been recognized that these implementations have serious limitations in handling non-concatenative phenomena. We describe a new technique for constructing finite-state transducers that involves reapplying the regular-expression compiler to its own output. Implemented in an algorithm called compile-replace, this technique has proved useful for handling non-concatenative phenomena; and we demonstrate it on Malay full-stem reduplication and Arabic stem interdigitation.

研究の動機と目的

• 有限状態形態素解析がリダプリケーションやステムインターディテーションのような非連結的プロセスを扱えなかったという長年の制限に対処すること。
• 従来の有限状態システムが唯一の形態的操作として連結に依存しているという制限を克服すること。
• 有限状態トランスデューサーの表現力を拡張する一般用途のアルゴリズムを開発すること。
• マレー語やアラビア語といった現実の言語におけるこの手法の有効性を実証すること。
• 完全な言語的正確性を保ちながら、コンパイル時間の短縮とシステム効率の向上を実現すること。

提案手法

• compile-replaceアルゴリズムは、正規表現コンパイラを自身の出力に再適用することで、コンパイルされた有限状態ネットワークを、変更されたが依然として有限状態の構造に変換する。
• この手法により、交差、逆転、置換といった任意の有限状態操作を、連結にとどまらず形態的記述に利用できるようになる。
• 中間コンパイル段階で、構造的要素を分離・操作可能にするために、特別なマーカー記号（例：'XX'）を文字列に挿入する。
• マーカーを交差や逆転といった複雑な操作に置換するためのリプレーストランスデューサーをネットワークに合成する。
• この手法は2段階で適用される：まず候補文字列（例：回文やリダプリケート形）を特定し、次に必要な構造的条件を満たすものだけを抽出する。
• Xerox有限状態フレームワークを用いて、lexc、リプレースルール、compile-replace手順を組み合わせ、解析および生成の両方をサポートする実装がなされている。

実験結果

リサーチクエスチョン

• RQ1 有限状態形態素解析を、フルスタムリダプリケーションやステムインターディテーションのような非連結的現象に対応できるように拡張できるか？
• RQ2 連結を超える複雑な形態的操作をサポートしつつ、有限状態システムの効率性と規則性を維持することは可能か？
• RQ3 正規表現コンパイラを自身の出力に再帰的に適用することで、より表現力の高い形態的ネットワークを生成できるか？
• RQ4 compile-replace技術を大規模な形態的システムに適用することで、どの程度のパフォーマンス向上が達成できるか？
• RQ5 この手法は、マレー語とアラビア語にとどまらず、他の非連結的プロセスにも一般化可能か？

主な発見

• compile-replaceアルゴリズムは、マーカー挿入と有限状態操作を用いて、ステムの繰り返しを特定・処理することで、マレー語のフルスタムリダプリケーションを成功裏にモデル化した。
• この手法により、複雑な語素の再順序化や内部構造の操作を可能にし、アラビア語のステムインターディテーションを正確にモデル化できた。
• compile-replace技術を適用した後、アラビア語形態素システムのコンパイル時間が数時間から数分に短縮された。
• 25,000語の語彙から回文を数秒で効率的に抽出でき、非自明な文字列パターン認識の強力さを実証した。
• このアプローチは、有限状態システムの数学的洗練性と効率性を保ちつつ、その言語的表現力を著しく拡張した。
• この手法は汎用的かつ拡張可能であり、2つの事例研究を超えて、他の非連結的形態的現象にも応用可能であることが実証された。