[论文解读] Faster Language Edit Distance, Connection to All-pairs Shortest Paths and Related Problems.

Barna Saha|arXiv (Cornell University)|Nov 26, 2014

Algorithms and Data Compression参考文献 44被引用 4

一句话总结

该论文提出了首个真正亚立方时间复杂度的自然语言编辑距离计算算法，通过与全源最短路径的关联，实现了 Õ(n^ω poly(ε)) 的运行时间，并以 (1+ε)-近似因子完成计算。该算法还通过估计输入字符串所有子串的编辑距离，支持局部对齐。

ABSTRACT

Given a context free language L(G) over alphabet Σ and a string s ∈ Σ∗, the language edit distance problem seeks the minimum number of edits (insertions, deletions and substitutions) required to convert s into a valid member of L(G). The well-known dynamic programming algorithm solves this problem in O(n3) time (ignoring grammar size) where n is the string length [Aho, Peterson 1972, Myers 1985]. Despite its numerous applications in data management, machine learning, compiler optimization, com-putational biology, computer vision and linguistics, there is no algorithm known till date that computes or approximates language edit distance problem in true sub-cubic time. In this paper we give the first such algorithm that computes language edit distance almost optimally. For any arbitrary > 0, our algorithm runs in Õ ( n ω poly() ) time and returns an estimate within a mul-tiplicative approximation factor of (1 + ) with high probability, where ω is the exponent of ordinary matrix multiplication of n dimensional square matrices. It also computes the edit script. We further solve the local alignment problem; for all substrings of s, we can estimate their language edit distance

研究动机与目标

• 解决长期以来计算自然语言编辑距离真正亚立方时间复杂度的开放问题。
• 在 (1+ε) 因子内实现自然语言编辑距离的近似最优解。
• 将解决方案扩展以支持局部对齐，即估计输入字符串所有子串的编辑距离。
• 利用自然语言编辑距离与全源最短路径之间的关联，提升计算效率。

提出的方法

• 通过一种新颖的图构造方法，将自然语言编辑距离问题约化为全源最短路径（APSP）问题的一个变体。
• 采用随机化近似框架，以高概率实现 (1+ε)-近似。
• 将矩阵乘法的指数 ω 作为关键参数，实现 Õ(n^ω poly(ε)) 的时间复杂度。
• 在语法和字符串的图表示上构建动态规划结构，以高效计算编辑距离。
• 整合全源最短路径与字符串算法的技术，以同时支持全局和局部对齐的计算。
• 通过追踪所构建图和动态规划表，计算出实际的编辑脚本。

实验结果

研究问题

• RQ1 自然语言编辑距离能否在真正亚立方时间内计算？
• RQ2 是否可能在近乎线性或近乎立方时间内实现自然语言编辑距离的 (1+ε)-近似？
• RQ3 如何将自然语言编辑距离问题与全源最短路径关联，以实现更快的计算？
• RQ4 该算法能否支持局部对齐，即估计输入字符串所有子串的编辑距离？

主要发现

• 所提出的算法以 Õ(n^ω poly(ε)) 的时间复杂度运行，以高概率实现 (1+ε)-近似。
• 这是首个真正实现亚立方时间复杂度计算自然语言编辑距离的算法，打破了 O(n^3) 的瓶颈。
• 该算法支持全局和局部对齐，可估计输入字符串所有子串的编辑距离。
• 该方法成功地将自然语言编辑距离约化为可通过全源最短路径求解的问题，从而实现更高效的计算。
• 该算法不仅计算出编辑距离，还生成了实际的编辑脚本，这对需要转换序列的应用至关重要。
• 该结果建立了自然语言编辑距离与矩阵乘法复杂度之间的强关联，凸显了 ω 作为关键参数的重要性。