[论文解读] An efficient algorithm for computing the edit distance of a regular language via input-altering transducers

Lila Kari, Stavros Konstantinidis+2 more|arXiv (Cornell University)|Jun 4, 2014

Algorithms and Data Compression被引用 6

一句话总结

本文提出了一种高效算法 DistBestInpAlter，用于计算由 NFA 指定的正则语言的编辑距离，最坏情况时间复杂度为 $O(n^2d)$，其中 $n$ 为转移数量，$d$ 为计算得到的编辑距离。该方法利用输入改变型转换器建模错误检测特性，相较于先前方法实现了显著的性能提升，实验验证表明其速度提升了数量级。

ABSTRACT

We revisit the problem of computing the edit distance of a regular language given via an NFA. This problem relates to the inherent maximal error-detecting capability of the language in question. We present an efficient algorithm for solving this problem which executes in time $O(r^2n^2d)$, where $r$ is the cardinality of the alphabet involved, $n$ is the number of transitions in the given NFA, and $d$ is the computed edit distance. We have implemented the algorithm and present here performance tests. The correctness of the algorithm is based on the result (also presented here) that the particular error-detection property related to our problem can be defined via an input-altering transducer.

研究动机与目标

• 解决由 NFA 给出的正则语言的编辑距离计算挑战，该挑战反映了其固有的错误检测能力。
• 研究是否能够使用输入改变型转换器形式化捕捉 sid(k) 信道（支持替换、插入和删除）的错误检测特性。
• 通过利用此类转换器的结构特性，开发一种更高效的编辑距离计算算法。
• 实现并实证评估新算法与先前方法的对比，展示实际性能提升。

提出的方法

• 该算法基于一个新颖的理论结果：sid(k) 信道的错误检测特性可通过高效输入改变型转换器形式化定义，如定理 11 所正式证明。
• 该方法的核心在于构建一个转换器，用于建模所有权重有界的编辑字符串（最多至距离 $d$），从而实现对语言中单词之间最小编辑距离的检测。
• 该算法在结合了 NFA 和转换器的状态空间的乘积自动机上使用动态规划，追踪单词对之间的最小编辑代价。
• 一项关键优化在于消除转换器构造中的冗余对角线转移，从而在不损害正确性或权重计算的前提下减少状态爆炸。
• 该方法利用 FAdo 库进行自动机操作，并实现了多种算法变体（包括中间版本和优化版本）以进行对比评估。
• 最终算法 DistBestInpAlter 是通过对初始基于错误检测的方法进行非平凡的输入改变型转换器结构利用而推导得出。

实验结果

研究问题

• RQ1 是否能够使用输入改变型转换器形式化定义 sid(k) 信道（支持替换、插入和删除）的错误检测特性？
• RQ2 此类转换器表示是否能够实现比现有方法更高效的正则语言编辑距离计算算法？
• RQ3 在编辑距离计算中使用输入改变型转换器的理论与实际性能增益是什么？
• RQ4 该算法在编辑距离 $d$ 和自动机规模增加时的可扩展性如何，特别是与先前的 $O(n^8)$ 时间复杂度方法相比？

主要发现

• 所提出的算法 DistBestInpAlter 实现了最坏情况时间复杂度 $O(n^2d)$，相较于先前针对 NFA 的 $O(n^8)$ 复杂度有显著改进。
• 实验结果表明，DistBestInpAlter 始终快于所有先前变体，在较大 NFA 上运行时间最高可减少两个数量级。
• 对于包含 21 个状态的 NFA $\mathbf{a}_{21}$，先前最佳算法耗时超过 3.4 小时，而 DistBestInpAlter 仅用 0.029 秒完成。
• 在更大的 NFA $\mathbf{b}_{8}$（73 个状态）上，DistBestInpAlter 仅用 1.919 秒运行，而先前最佳算法超过 5 小时。
• 由于其对 $d$ 的 $O(n^2d)$ 依赖关系，DistBestInpAlter 在编辑距离 $d$ 增加时仍保持稳定且高效的性能。
• 在转换器构造中移除对角线转移被证明是安全且有效的，提升了空间效率，且不影响正确性或输出。