[論文レビュー] Incremental construction of minimal acyclic finite-state automata

Jan Daciuk, Stoyan Mihov+2 more|ArXiv.org|Jul 6, 2000

semigroups and automata theory参考文献 4被引用数 51

ひとこと要約

本稿では、1回のパスで最小で決定的かつ非巡回有限状態オートマトン（DAFSA）を構築する、画期的な段階的アルゴリズムを提示する。従来の2段階のトライ木構築と最小化のプロセスを回避する。挿入中に等価な状態を動的にマージすることで、特に入力文字列が辞書式にソートされている場合、メモリ使用量と構築時間の両方で顕著な削減が達成される。

ABSTRACT

In this paper, we describe a new method for constructing minimal, deterministic, acyclic finite-state automata from a set of strings. Traditional methods consist of two phases: the first to construct a trie, the second one to minimize it. Our approach is to construct a minimal automaton in a single phase by adding new strings one by one and minimizing the resulting automaton on-the-fly. We present a general algorithm as well as a specialization that relies upon the lexicographical ordering of the input strings.

研究の動機と目的

• 1段階の段階的処理で最小で決定的かつ非巡回有限状態オートマトンを構築する手法の開発。別途最小化段階を必要としない。
• 新しい文字列が追加されるたびに最小性を動的に維持することで、オートマトン構築中のメモリ消費量を削減すること。
• 従来の2段階アプローチ（トライ木構築 → 最小化）よりも性能を向上させること。特に時間的・空間的効率面で。
• 辞書的順序を利用した特殊なアルゴリズムにより、ソート済みの入力データから最小辞書を効率的に構築すること。
• スペルチェック、解析的語彙解析、DNA配列マッチングなどの実用的応用を、コンパクトで最小のオートマトン表現によって可能にすること。

提案手法

• アルゴリズムは1文字列ずつ段階的に挿入を行い、状態のレジスタを維持するとともに、同値状態を連合・検索構造に類似した構造を用いて動的にマージすることで最小性を保証する。
• ソート済みの入力に対しては、辞書的順序を活用することで、1回の挿入でオートマトン内の1つのパスしか変更しなくてよくなることを保証し、即時の最小化を効率的に行える。
• コアデータ構造は状態の同値類のマッピングを維持しており、各状態の右言語（つまり、各状態から到達可能な接尾語の集合）に基づいて、状態の登録または置換を行う。
• 状態の右言語の再帰的定義を用いて状態の同値性を特定する。$ \stackrel{{\scriptstyle\rightarrow}}{{\cal L}}(q) = \{a \cdot \stackrel{{\scriptstyle\rightarrow}}{{\cal L}}(\delta(q,a)) \mid \delta(q,a) \neq \bot\} \cup \{\varepsilon\} $ が $ q \in F $ の場合、そうでない場合は $ \emptyset $ である。
• 状態の同値性を維持するために `replace_or_register` 関数を用い、ハッシュテーブルまたは平衡木を用いて状態操作の時間計算量を $ \mathcal{O}(\log n) $ に保証する。
• 同一の右言語を持つ状態を検出し、マージすることで、重複する状態を格納しない。これにより、最終的なオートマトンは構築の過程で最小性が保証される。

実験結果

リサーチクエスチョン

• RQ1 別段階の最小化処理を経ずに、最小で決定的かつ非巡回有限状態オートマトンを段階的に構築することは可能か？
• RQ2 挿入プロセスに最小化を統合することで、オートマトン構築のメモリと時間計算量をどのように低減できるか？
• RQ3 段階的構築中に入力文字列の辞書的順序を活用することで、どのような性能向上が達成できるか？
• RQ4 即時の状態マージは、中間状態の爆発を防ぎつつ最小性をどの程度保てるか？
• RQ5 このアルゴリズムは、トランダーサー構築やその他の高度な有限状態操作をサポートするように拡張可能か？

主な発見

• アルゴリズムは1段階の段階的処理で最小の DAFSA を構築し、後処理としての最小化段階を不要にする。
• ソート済みの入力に対しては、1回の挿入でたった1つのパスしか変更しないという最適な性能を達成し、未ソート入力と比較して時間計算量が顕著に低減される。
• 従来の2段階手法と比較して、メモリ使用量が顕著に削減され、論文では漸近的に最小であり、著しくメモリ効率が良いと述べられている。
• 挿入後に完全な最小化段階を要する手法と比較して、構築時間が著しく速く、特にその点で優れた性能を示す。
• 実装は C++ および Java で提供されており、研究および商業用途に利用可能。トランダーサー構築、完全ハッシュ、辞書操作などの実用的拡張も可能である。
• 自然言語処理、DNA配列マッチング、コンピュータウイルス検出など多様な分野への応用に成功しており、辞書構築を超えた広範な適用可能性を示している。