[论文解读] Faster Algorithm of String Comparison

Qi Yang, Sung Sam Yuan+3 more|ArXiv.org|Dec 21, 2001

Algorithms and Data Compression参考文献 18被引用 6

一句话总结

本文提出了一种新颖的基于子串的算法包——MCWPM，用于字段相似性计算，显著优于[LL+99]的基于标记的方法。通过利用优化边界（UBWS、LBWS）的子串匹配以及ERMA启发式方法，该方法在最坏情况下实现O(knm)的时间复杂度（k < 0.75），在平均情况下实现O(βn)（β < 6），在最好情况下实现O(1)，同时通过对比示例和实验展示了更高的相似性匹配准确性。

ABSTRACT

In many applications, it is necessary to determine the string similarity. Edit distance[WF74] approach is a classic method to determine Field Similarity. A well known dynamic programming algorithm [GUS97] is used to calculate edit distance with the time complexity O(nm). (for worst case, average case and even best case) Instead of continuing with improving the edit distance approach, [LL+99] adopted a brand new approach-token-based approach. Its new concept of token-base-retain the original semantic information, good time complex-O(nm) (for worst, average and best case) and good experimental performance make it a milestone paper in this area. Further study indicates that there is still room for improvement of its Field Similarity algorithm. Our paper is to introduce a package of substring-based new algorithms to determine Field Similarity. Combined together, our new algorithms not only achieve higher accuracy but also gain the time complexity O(knm) (k&lt;0.75) for worst case, O(*n) where &lt;6 for average case and O(1) for best case. Throughout the paper, we use the approach of comparative examples to show higher accuracy of our algorithms compared to the one proposed in [LL+99]. Theoretical analysis, concrete examples and experimental result show that our algorithms can significantly improve the accuracy and time complexity of the calculation of Field Similarity. [US97] D. Guseld. Algorithms on Strings, Trees and Sequences, in Computer Science and Computational Biology. [LL+99] Mong Li Lee, Cleansing data for mining and warehousing, In Proceedings of the 10th International Conference on Database and Expert Systems Applications (DEXA99), pages 751-760,August 1999. [WF74] R. Wagner and M. Fisher, The String to String Correction Problem, JACM 21 pages 168-173, 1974.

研究动机与目标

• 为解决[LL+99]中提出的基于标记的字段相似性算法在准确性和效率方面的局限性。
• 开发一种新的算法框架，在提升计算性能的同时保留语义信息。
• 实现更优的时间复杂度——具体而言，最坏情况下为O(knm)（k < 0.75），平均情况下为O(βn)（β < 6），最好情况下为O(1)，且不牺牲准确性。
• 通过理论分析、具体示例以及在真实和合成数据集上的实验评估，验证新方法的优越性。

提出的方法

• 提出一种基于子串的字段相似性方法，以[LL+99]的基于标记的方法为基础，重点聚焦于重叠子串匹配。
• 采用上下界窗口策略（UBWS和LBWS）以限制比较范围，减少不必要的计算。
• 应用ERMA（高效排除不匹配替代项）启发式方法，尽早快速剔除不匹配的子串。
• 使用SCAMSUC（截至当前轮次所有匹配字符串贡献之和）和MMSLFC（从当前轮次起的最大匹配字符串长度）动态追踪相似性贡献并指导决策。
• 实施多轮决策框架，基于阈值（ST）评估相似性，根据MMSL、LBWS和SCAMSUC的比较结果决定是否重复或去重。
• 集成基于阈值的结论引擎，利用MMSL * < LBWS 或 SCAMSUC * ≥ ST 条件，将记录分类为重复或非重复。

实验结果

研究问题

• RQ1 基于子串的方法在字段相似性计算中，是否能在准确性和时间复杂度两方面均优于基于标记的方法？
• RQ2 所提出的基于子串的算法的理论时间复杂度是多少？与[LL+99]方法的O(nm)复杂度相比有何差异？
• RQ3 所引入的边界（UBWS、LBWS）和启发式方法（ERMA）在不损害准确性的前提下，如何有效减少计算时间？
• RQ4 MCWPM算法在实际比较中的准确性提升程度如何？通过具体示例和实验结果如何体现？
• RQ5 该算法是否能在最好情况下实现O(1)的时间复杂度？在何种条件下会发生这种情况？

主要发现

• 所提出的MCWPM算法在最坏情况下实现O(knm)的时间复杂度，其中k < 0.75，相较于[LL+99]方法的O(nm)复杂度有显著提升。
• 在平均情况下，算法运行时间为O(βn)，其中β < 6，表明相较于基线方法有显著性能提升。
• 最好情况下的时间复杂度为O(1)，当初始子串匹配已足以判定相似性时发生，例如在完全相同的字符串情况下。
• 在校园调查、人口普查和合成数据集上的实验结果表明，MCWPM在准确性和效率方面均优于[LL+99]方法。
• SCAMSUC与MMSLFC的使用实现了动态、基于阈值的分类，使算法能够以高精度正确识别重复记录。
• UBWS与LBWS约束以及ERMA的集成，实际中将比较次数减少了高达75%，显著贡献于时间复杂度的优化。