[论文解读] Incremental construction of minimal acyclic finite-state automata

Jan Daciuk, Stoyan Mihov+2 more|ArXiv.org|Jul 6, 2000

semigroups and automata theory参考文献 4被引用 51

一句话总结

本文提出了一种新颖的增量算法，用于在单次遍历中从一组字符串构建最小、确定性、无环有限状态自动机（DAFSA），避免了传统的两阶段Trie构建与最小化过程。通过在插入过程中动态合并等价状态，该方法显著降低了内存使用量和构建时间，尤其在输入字符串按字典序排序时效果更显著。

ABSTRACT

In this paper, we describe a new method for constructing minimal, deterministic, acyclic finite-state automata from a set of strings. Traditional methods consist of two phases: the first to construct a trie, the second one to minimize it. Our approach is to construct a minimal automaton in a single phase by adding new strings one by one and minimizing the resulting automaton on-the-fly. We present a general algorithm as well as a specialization that relies upon the lexicographical ordering of the input strings.

研究动机与目标

• 开发一种在单个增量阶段内构建最小、确定性、无环有限状态自动机的方法，消除对独立最小化步骤的需求。
• 通过在新增字符串时动态维持最小性，降低自动机构建过程中的内存消耗。
• 相较于传统两阶段方法（先构建Trie，再进行最小化），提升性能，尤其在时间与空间效率方面。
• 通过一种专门利用字典序特性的算法，实现从排序输入数据中高效构建最小字典。
• 通过紧凑且最小的自动机表示，支持拼写检查、词形分析和DNA序列匹配等实际应用。

提出的方法

• 该算法逐个增量插入字符串，维护一个状态注册表，并使用类似并查集的结构动态合并等价状态，以确保最小性。
• 对于排序输入，该算法利用字典序特性，确保每次插入仅修改自动机中的单一路径，从而实现高效的实时最小化。
• 核心数据结构维护状态等价类的映射，基于其右语言（即从每个状态可达的后缀集合）执行状态注册或替换操作。
• 该算法使用状态右语言的递归定义来判断状态等价性：$ \stackrel{{\scriptstyle\rightarrow}}{{\cal L}}(q) = \{a \cdot \stackrel{{\scriptstyle\rightarrow}}{{\cal L}}(\delta(q,a)) \mid \delta(q,a) \neq \bot\} \cup \{\varepsilon\} $，若 $ q \in F $，否则为 $ \emptyset $。
• 使用函数 `replace_or_register` 维护状态等价性，通过哈希表或平衡树确保状态操作的时间复杂度为 $ \mathcal{O}(\log n) $。
• 通过检测并合并具有相同右语言的状态，避免存储冗余状态，从而保证最终自动机在构造过程中即为最小。

实验结果

研究问题

• RQ1 能否在不进行独立最小化阶段的情况下，增量式地构建最小的确定性无环有限状态自动机？
• RQ2 如何通过将最小化过程集成到插入过程中，降低自动机构建的时间与空间复杂度？
• RQ3 在增量构建过程中，利用输入字符串的字典序特性，能获得多大的性能提升？
• RQ4 实时状态合并能在多大程度上保持最小性，同时减少中间状态的爆炸性增长？
• RQ5 该算法能否扩展以支持转换器构建及其他高级有限状态操作？

主要发现

• 该算法在单个增量阶段内构建了最小的DAFSA，消除了对后续最小化处理步骤的需求。
• 对于排序输入，该算法实现了最优性能，每次插入仅修改一条路径，与未排序输入相比，时间复杂度显著降低。
• 与传统两阶段方法相比，内存使用量大幅减少，论文指出该方法在渐近意义上是最小的，并且具有显著更高的内存效率。
• 构建时间明显快于以往算法，尤其在与需要在插入后执行完整最小化阶段的方法相比时。
• 该算法支持实际扩展应用，如转换器构建、完美哈希及字典操作，相关实现已提供C++与Java版本，适用于科研与商业用途。
• 该方法已成功应用于自然语言处理、DNA序列匹配及计算机病毒检测等多个领域，证明其应用范围远超字典构建。