[论文解读] Cell-probe bounds for online edit distance and other pattern matching problems

Raphaël Clifford, Markus Jalsenius+1 more|arXiv (Cornell University)|Jan 4, 2015

Algorithms and Data Compression参考文献 18被引用 8

一句话总结

该论文首次为在线模式匹配问题（包括编辑距离、汉明距离、卷积和最长公共子序列）建立了非平凡的单元探测下界，采用了一种新颖的编码方案和精心设计的输入分布。它证明了在位探测模型中，汉明距离和卷积的下界为 Ω(δ log n / (w + log log n))，在线编辑距离和LCS的下界为 Ω(√(log n)/(log log n)^{3/2})，同时展示了编辑距离在RAM模型中的上界为 O((log²n)/w)，揭示了单元探测模型与RAM模型之间显著的复杂度差距。

ABSTRACT

We give cell-probe bounds for the computation of edit distance, Hamming distance, convolution and longest common subsequence in a stream. In this model, a fixed string of n symbols is given and one δ-bit symbol arrives at a time in a stream. After each symbol arrives, the distance between the fixed string and a suffix of most recent symbols of the stream is reported. The cell-probe model is perhaps the strongest model of computation for showing data structure lower bounds, subsuming in particular the popular word-RAM model.• We first give an Ω((δ log n)/(w+log log n)) lower bound for the time to give each output for both online Hamming distance and convolution, where w is the word size. This bound relies on a new encoding scheme and for the first time holds even when w is as small as a single bit.• We then consider the online edit distance and longest common subsequence problems in the bit-probe model (w = 1) with a constant sized input alphabet. We give a lower bound of Ω([EQUATION]log n/(log log n)3/2) which applies for both problems. This second set of results relies both on our new encoding scheme as well as a carefully constructed hard input distribution.• Finally, for the online edit distance problem we show that there is an O((log2n)/w) upper bound in the cell-probe model. This bound gives a contrast to our new lower bound and also establishes an exponential gap between the known cell-probe and RAM model complexities.

研究动机与目标

• 在单元探测模型中为在线模式匹配问题建立强计算下界，该模型是目前数据结构下界研究中最强的已知模型。
• 分析在符号逐个到达的在线流式环境中，计算编辑距离、汉明距离、卷积和最长公共子序列的时间复杂度。
• 提出一种新型编码方案，即使在字长 w 小至1比特时也能实现非平凡的下界。
• 构建一种困难的输入分布，以在位探测模型中放大在线编辑距离和LCS问题的难度。
• 将单元探测下界与RAM模型中的已知上界进行对比，揭示两者之间显著的复杂度差距。

提出的方法

• 提出一种新颖的编码方案，使在单元探测模型中推导下界成为可能，即使在字长极小（w = 1）时也成立。
• 将该编码方案应用于推导在线汉明距离和卷积的 Ω(δ log n / (w + log log n)) 下界，其中 δ 为符号大小，w 为字长。
• 通过精心构造的困难输入分布扩展编码技术，证明在位探测模型（w = 1）中，在线编辑距离和最长公共子序列的下界为 Ω(√(log n)/(log log n)^{3/2})。
• 利用单元探测模型证明在线编辑距离的 O((log²n)/w) 上界，展示了该模型中的紧致上界。
• 将推导出的下界与上界进行比较，揭示单元探测模型与RAM模型复杂度之间存在超多项式差距。
• 采用信息论和组合论证方法，建立在最小假设下在线模式匹配问题的困难性。

实验结果

研究问题

• RQ1 在单元探测模型中，计算在线汉明距离和卷积所需的最短时间是多少？其随输入大小和字长的变化规律如何？
• RQ2 在常数字母表下，是否能在位探测模型（w = 1）中为在线编辑距离和最长公共子序列建立非平凡下界？
• RQ3 该新型编码方案如何促进在单元探测模型中证明下界，特别是在 w 较小时？
• RQ4 在线编辑距离的单元探测复杂度与RAM模型复杂度之间存在何种关系？
• RQ5 能否构造一种困难的输入分布，以在位探测模型中显著放大在线编辑距离和LCS的难度？

主要发现

• 在单元探测模型中，为在线汉明距离和卷积建立了 Ω(δ log n / (w + log log n)) 的下界，即使在 w = 1 时也成立。
• 在常数字母表的位探测模型中，为在线编辑距离和最长公共子序列证明了 Ω(√(log n)/(log log n)^{3/2}) 的下界。
• 新型编码方案使在单元探测模型中即使在最小字长下也能实现非平凡下界，标志着一项重大的技术突破。
• 在单元探测模型中，为在线编辑距离展示了 O((log²n)/w) 的上界，与下界形成对比，揭示了超多项式差距。
• 结果表明，对于在线编辑距离，已知的单元探测模型与RAM模型复杂度之间存在指数级差距，凸显了RAM模型在捕捉真实困难性方面的局限性。
• 编码方案与困难输入分布的结合，首次实现了对LCS和编辑距离在位探测模型中的非平凡下界。