[论文解读] Edit Distance Cannot Be Computed in Strongly Subquadratic Time (unless SETH is false)

Artūrs Bačkurs, Piotr Indyk|arXiv (Cornell University)|Dec 1, 2014

Natural Language Processing Techniques被引用 7

一句话总结

本文证明，除非强指数时间假设（SETH）不成立，否则无法在强亚二次时间内计算两个字符串之间的编辑距离。作者将正交向量问题归约到编辑距离，表明更快的编辑距离算法将意味着更快的CNF-SAT算法，从而违反SETH，因此确立了编辑距离为SETH-hard问题。

ABSTRACT

The edit distance (a.k.a. the Levenshtein distance) between two strings is defined as the minimum number of insertions, deletions or substitutions of symbols needed to transform one string into another. The problem of computing the edit distance between two strings is a classical computational task, with a well-known algorithm based on dynamic programming. Unfortunately, all known algorithms for this problem run in nearly quadratic time. In this paper we provide evidence that the near-quadratic running time bounds known for the problem of computing edit distance might be tight. Specifically, we show that, if the edit distance can be computed in time $O(n^{2-δ})$ for some constant $δ>0$, then the satisfiability of conjunctive normal form formulas with $N$ variables and $M$ clauses can be solved in time $M^{O(1)} 2^{(1-ε)N}$ for a constant $ε>0$. The latter result would violate the Strong Exponential Time Hypothesis, which postulates that such algorithms do not exist.

研究动机与目标

• 建立精确编辑距离计算的条件下界。
• 证明若存在某种δ>0使得编辑距离可在O(n^{2−δ})时间内计算，则会违反强指数时间假设（SETH）。
• 证明编辑距离属于SETH-hard问题类别，将其置于具有紧致条件边界的一类问题之中。
• 通过向量构件和结构化序列上的模式匹配，提供从正交向量问题到编辑距离的归约。

提出的方法

• 为集合A和B中的每个向量构造专门的“构件”序列，以编码向量正交性。
• 将集合A中的构件序列连接成第一个字符串，将集合B中的构件序列连接成第二个字符串。
• 使用模式匹配函数PATTERN(P₁, P₂)来度量子串之间的对齐成本，证明当不存在正交对时，该成本有下界。
• 通过在字符串两端添加新的符号（6）的对称前缀和后缀，实施变换以在编辑距离中强制实现成本分离。
• 通过关于成本下界和可实现编辑序列的引理，证明当不存在正交向量时，编辑距离等于Y；当存在正交对时，编辑距离等于Y−2。
• 将正交向量问题归约到编辑距离，表明快速编辑距离算法将意味着快速的CNF-SAT算法。

实验结果

研究问题

• RQ1 编辑距离能否在强亚二次时间内计算，即O(n^{2−δ})（δ>0）？
• RQ2 在广泛接受的复杂性假设下，精确编辑距离计算的条件边界是什么？
• RQ3 是否存在从已知的SETH-hard问题（如正交向量问题）到编辑距离的归约？
• RQ4 通过动态规划实现的编辑距离结构是否允许比当前已知算法更快的算法？

主要发现

• 若编辑距离可在O(n^{2−δ})时间内计算（δ>0），则N个变量和M个子句的CNF-SAT问题可在M^{O(1)}2^{(1−ε)N}时间内求解（ε>0）。
• 这将违反强指数时间假设（SETH），该假设断言CNF-SAT不存在此类算法。
• 因此，编辑距离问题是SETH-hard，意味着它不太可能拥有强亚二次算法。
• 该归约通过向量构件和符号'6'的对称填充构造字符串，确保当不存在正交向量时编辑距离恰好为Y，当存在正交对时编辑距离为Y−2。
• 该证明依赖于表明：任何实现低代价对齐的方案必须完整对齐整个向量构件，而部分对齐会因强制删除或替换特殊符号而产生更高代价。