[论文解读] Edit Distance: Sketching, Streaming and Document Exchange

Djamal Belazzougui, Qin Zhang|arXiv (Cornell University)|Jul 14, 2016

Complexity and Algorithms in Graphs参考文献 15被引用 11

一句话总结

该论文首次提出了针对编辑距离的高效Sketching、流式处理和文档交换协议，通信与空间复杂度均为poly(K log n)，解码时间接近线性。论文提出了一种基于对角分解和滚动哈希的新算法，仅使用O(K⁸ log⁵n)比特即可实现编辑距离的精确计算与编辑序列重构，其在某些情形下达到信息论下限。

ABSTRACT

We show that in the document exchange problem, where Alice holds $x \in \{0,1\}^n$ and Bob holds $y \in \{0,1\}^n$, Alice can send Bob a message of size $O(K(\log^2 K+\log n))$ bits such that Bob can recover $x$ using the message and his input $y$ if the edit distance between $x$ and $y$ is no more than $K$, and output "error" otherwise. Both the encoding and decoding can be done in time $ ilde{O}(n+\mathsf{poly}(K))$. This result significantly improves the previous communication bounds under polynomial encoding/decoding time. We also show that in the referee model, where Alice and Bob hold $x$ and $y$ respectively, they can compute sketches of $x$ and $y$ of sizes $\mathsf{poly}(K \log n)$ bits (the encoding), and send to the referee, who can then compute the edit distance between $x$ and $y$ together with all the edit operations if the edit distance is no more than $K$, and output "error" otherwise (the decoding). To the best of our knowledge, this is the first result for sketching edit distance using $\mathsf{poly}(K \log n)$ bits. Moreover, the encoding phase of our sketching algorithm can be performed by scanning the input string in one pass. Thus our sketching algorithm also implies the first streaming algorithm for computing edit distance and all the edits exactly using $\mathsf{poly}(K \log n)$ bits of space.

研究动机与目标

• 解决在通信量、Sketch大小或内存受限的场景下，当编辑距离有界为K时，高效计算编辑距离及所有编辑操作的挑战。
• 设计一种文档交换协议，以最小化通信成本，同时保持近线性时间的编码/解码性能。
• 开发首个基于poly(K log n)比特的编辑距离Sketching算法，支持在裁判模型中精确计算编辑距离与编辑操作。
• 构建一种流式算法，仅需单次遍历即可使用poly(K log n)空间与近线性时间计算编辑距离及所有编辑操作。
• 通过在小距离情形下同时实现高效性与精确性，克服先前方法的局限，这对生物信息学与数据同步等应用至关重要。

提出的方法

• 采用基于对角线的动态规划方法，以空间高效的方式模拟编辑距离计算，跟踪K+1条对角线上的得分与边界标志。
• 应用滚动哈希函数与CGK嵌入，通过维护字符串块的紧凑表示，实现流式处理与Sketching。
• 使用后缀树维护对角线间的最长公共前缀信息，实现O(1)时间查询，以指导对角线处理过程中的运行扩展。
• 结合来自左侧、右侧及公共前缀邻居的候选扩展点，采用“取最大值”策略，确定每条对角线上可到达的最大单元格。
• 通过冗余编码与纠错技术确保文档交换中的正确性，使Bob能从消息与自身输入中重构原始字符串。
• 修改算法以通过存储公共子串的起始与结束位置，实现完整编辑操作序列的重构，额外需O(K²)空间。

实验结果

研究问题

• RQ1 是否可在通信成本为O(K log n)的同时，保持近线性时间复杂度，实现文档交换？
• RQ2 能否构建一个大小为poly(K log n)的Sketch，用于编辑距离，使其在裁判模型中支持编辑距离与操作的精确计算？
• RQ3 能否设计一种流式算法，在单次遍历中使用poly(K log n)空间与近线性时间，计算编辑距离及所有编辑操作？
• RQ4 在Sketch大小中，对K与log n的最优多项式依赖关系为何？
• RQ5 能否将随机化Sketching与文档交换协议去随机化，从而得到编辑距离的确定性纠错码？

主要发现

• 文档交换协议的通信成本为O(K(log²K + log n))比特，在log K = O(√log n)时与信息论下限Ω(K log n)相匹配。
• 提出首个使用O(K⁸ log⁵n)比特的编辑距离Sketching算法，该算法首次在poly(K log n)大小下实现精确计算。
• 该Sketching算法支持单遍流式编码，从而实现了首个使用O(K⁸ log⁵n)比特空间的精确编辑距离流式计算算法。
• 算法的编码与解码时间复杂度为Õ(n + poly(K))，在保持精确性的同时实现近线性时间复杂度。
• 通过追踪公共子串段，该方法支持完整的编辑序列重构，重构阶段需额外O(K²)空间。
• 该方法对小编辑距离具有鲁棒性，支持高效且可并行化的预处理，适用于数据库中的字符串相似度连接等应用。