[논문 리뷰] Faster Algorithm of String Comparison

Qi Yang, Sung Sam Yuan외 3명|ArXiv.org|2001. 12. 21.

Algorithms and Data Compression참고 문헌 18인용 수 6

한 줄 요약

이 논문은 필드 유사도 계산을 위한 새로운 서브스트링 기반 알고리즘 패키지—MCWPM—을 제안하며, [LL+99]의 토큰 기반 방법에 비해 크게 향상된 성능을 보인다. 최적화된 경계(UBWS, LBWS)와 ERMA 히우리즘을 활용함으로써, 최악의 경우 O(knm) 시간 복잡도(k < 0.75), 평균의 경우 O(βn) 복잡도(β < 6), 최선의 경우 O(1) 복잡도를 달성하며, 비교 예시와 실험을 통해 더 높은 유사도 매칭 정확도를 입증한다.

ABSTRACT

In many applications, it is necessary to determine the string similarity. Edit distance[WF74] approach is a classic method to determine Field Similarity. A well known dynamic programming algorithm [GUS97] is used to calculate edit distance with the time complexity O(nm). (for worst case, average case and even best case) Instead of continuing with improving the edit distance approach, [LL+99] adopted a brand new approach-token-based approach. Its new concept of token-base-retain the original semantic information, good time complex-O(nm) (for worst, average and best case) and good experimental performance make it a milestone paper in this area. Further study indicates that there is still room for improvement of its Field Similarity algorithm. Our paper is to introduce a package of substring-based new algorithms to determine Field Similarity. Combined together, our new algorithms not only achieve higher accuracy but also gain the time complexity O(knm) (k&lt;0.75) for worst case, O(*n) where &lt;6 for average case and O(1) for best case. Throughout the paper, we use the approach of comparative examples to show higher accuracy of our algorithms compared to the one proposed in [LL+99]. Theoretical analysis, concrete examples and experimental result show that our algorithms can significantly improve the accuracy and time complexity of the calculation of Field Similarity. [US97] D. Guseld. Algorithms on Strings, Trees and Sequences, in Computer Science and Computational Biology. [LL+99] Mong Li Lee, Cleansing data for mining and warehousing, In Proceedings of the 10th International Conference on Database and Expert Systems Applications (DEXA99), pages 751-760,August 1999. [WF74] R. Wagner and M. Fisher, The String to String Correction Problem, JACM 21 pages 168-173, 1974.

연구 동기 및 목표

• LL+99에서 제안한 토큰 기반 필드 유사도 알고리즘의 정확도 및 효율성에 대한 한계를 해결하기 위해.
• 의미 정보를 유지하면서도 계산 성능을 향상시키는 새로운 알고리즘 프레임워크를 개발하기 위해.
• 정확도를 희생시키지 않은 채로, 최악의 경우 O(knm) (k < 0.75), 평균의 경우 O(βn) (β < 6), 최선의 경우 O(1)의 더 나은 시간 복잡도를 달성하기 위해.
• 이론적 분석, 구체적 예시, 실제 및 합성 데이터 세트에 대한 실험 평가를 통해 신규 방법의 우수성을 검증하기 위해.

제안 방법

• LL+99의 토큰 기반 방법을 대체하기 위해, 겹치는 서브스트링 매칭에 중점을 둔 서브스트링 기반 필드 유사도 접근법을 도입한다.
• 비교 범위를 제한하고 불필요한 계산을 줄이기 위해 상한선 창문 전략(UBWS)과 하한선 창문 전략(LBWS)을 활용한다.
• 비일치하는 서브스트링을 조기에 제거하기 위해 ERMA(비일치 대안의 효율적 거부) 히우리즘을 적용한다.
• 유사도 기여도를 동적으로 추적하고 의사결정을 안내하기 위해 SCAMSUC(현재 라운드까지의 모든 매칭 문자열 기여도의 합)과 MMSLFC(현재 라운드에서의 최대 매칭 문자열 길이)를 사용한다.
• 유사도가 임계값(ST) 기반 조건에 따라 평가되는 다중라운드 의사결정 프레임워크를 구현하며, MMSL, LBWS, SCAMSUC 비교 결과에 따라 중복 여부를 결정한다.
• MMSL * < LBWS 또는 SCAMSUC * ≥ ST 조건을 사용하는 임계값 기반 결론 엔진을 통합하여 레코드를 중복 또는 비중복으로 분류한다.

실험 결과

연구 질문

• RQ1 서브스트링 기반 접근법이 토큰 기반 방법에 비해 필드 유사도 계산에서 정확도와 시간 복잡도 측면에서 뛰어나다는가 입증될 수 있는가?
• RQ2 제안된 서브스트링 기반 알고리즘의 이론적 시간 복잡도는 무엇이며, [LL+99] 방법의 O(nm) 복잡도와 어떻게 비교되는가?
• RQ3 제안된 경계(UBWS, LBWS)와 히우리즘(ERMA)이 정확도를 훼손하지 않으면서도 계산 시간을 어떻게 줄이는가?
• RQ4 구체적 예시와 실험 결과를 통해 MCWPM 알고리즘이 실제 비교에서 얼마나 정확도를 향상시키는가?
• RQ5 알고리즘이 최선의 경우 O(1) 시간 복잡도를 달성할 수 있는가, 그리고 이러한 경우는 어떤 조건에서 발생하는가?

주요 결과

• 제안된 MCWPM 알고리즘은 최악의 경우 k < 0.75를 만족하는 O(knm) 시간 복잡도를 달성하며, 이는 [LL+99] 방법의 O(nm) 복잡도에 비해 상당한 향상이다.
• 평균의 경우 β < 6를 만족하는 O(βn) 시간 복잡도로 실행되어 기준 대비 상당한 성능 향상을 보인다.
• 최선의 경우 시간 복잡도는 O(1)이며, 이는 동일한 문자열인 경우 초기 서브스트링 매칭만으로도 유사도를 결정할 수 있을 때 발생한다.
• 캠퍼스 설문, 인구 조사 및 합성 데이터 세트에 대한 실험 결과는 MCWPM가 [LL+99] 방법보다 정확도와 효율성 면에서 뛰어나다는 것을 확인한다.
• SCAMSUC와 MMSLFC의 사용은 동적이고 임계값 기반의 분류를 가능하게 하여, 높은 정밀도로 중복 항목을 정확히 식별할 수 있도록 한다.
• UBWS와 LBWS 제약 조건 및 ERMA의 통합으로 실제 적용에서 비교 횟수를 최대 75%까지 줄일 수 있었으며, 이는 향상된 시간 복잡도에 기여하였다.