[논문 리뷰] Speeding Up String Matching by Weak Factor Recognition

Domenico Cantone, Simone Faro외 1명|arXiv (Cornell University)|2017. 07. 03.

Algorithms and Data Compression참고 문헌 16인용 수 4

한 줄 요약

이 논문은 해시를 통한 약한 요소 인식을 활용하여 텍스트 내에서 패턴의 모든 발생 위치를 효율적으로 찾는 빠른 문자열 매칭 방법인 Wfr 알고리즘을 제안한다. 최악의 경우 시간 복잡도가 O(nm)이지만, 평균적으로 선형 이하의 성능을 달성하며, 특히 소규모 알파벳과 긴 패턴에서 기존 알고리즘보다 최대 28% 빠른 성능 향상을 보이며, 더 긴 이동 거리와 최적화된 해시를 통해 성능을 향상시킨다.

ABSTRACT

String matching is the problem of finding all the substrings of a text which match a given pattern. It is one of the most investigated problems in computer science, mainly due to its very diverse applications in several fields. Recently, much research in the string matching field has focused on the efficiency and flexibility of the searching procedure and quite effective techniques have been proposed for speeding up the existing solutions. In this context, algorithms based on factors recognition are among the best solutions. In this paper, we present a simple and very efficient algorithm for string matching based on a weak factor recognition and hashing. Our algorithm has a quadratic worst-case running time. However, despite its quadratic complexity, experimental results show that our algorithm obtains in most cases the best running times when compared, under various conditions, against the most effective algorithms present in literature. In the case of small alphabets and long patterns, the gain in running times reaches 28%. This makes our proposed algorithm one of the most flexible solutions in practical cases.

연구 동기 및 목표

• 광범위한 이전 연구에도 불구하고 실세계 응용 프로그램에서 더 빠르고 실용적인 문자열 매칭 알고리즘의 필요성을 해결한다.
• 더 약한, 그러나 더 효율적인 인식 모델을 도입하여 기존의 요소 인식 기반 알고리즘을 향상시킨다.
• 다양한 입력 조건에서 높은 성능을 유지할 수 있도록 단순하고 빠르며 유연한 솔루션을 설계한다.
• 약한 요소 인식과 해시를 사용할 경우 강한 요소 인식 방법과 비교해도 경쟁력 있거나 더 우수한 성능을 낼 수 있음을 입증한다.
• 실제 시퀀스(DNA, 단백질, 자연어) 기반 표준 벤치마크를 사용해 다양한 패턴 길이, 알파벳, 실세계 데이터셋에서 알고리즘의 효율성을 실증적으로 평가한다.

제안 방법

• 패턴의 잠재적 요소를 텍스트에서 식별하기 위해 해시 함수를 사용하는 약한 요소 인식 접근법을 제안한다.
• 검색 단계 동안 부분문자열의 해시 값을 효율적으로 계산하기 위해 롤링 해시를 사용한다.
• 해시 비교를 바탕으로 일치하지 않는 영역를 건너뛰는 이동 메커니즘을 구현하여 불필요한 문자 비교를 줄인다.
• 검색 단계에서 성능을 추가로 향상시키기 위해 비연결 루프 최적화를 도입한 변종인 Wfr_q를 제안한다.
• 해시 함수가 패턴의 진짜 요소를 모두 수용하고 일부 잘못된 양성도 수용할 수 있음을 활용하며, 정확성을 확보하기 위해 후처리 확인을 수행한다.
• 실제 시퀀스(DNA, 단백질, 자연어) 기반 표준 벤치마크를 사용해 최신 알고리즘과의 성능을 비교한다.

실험 결과

연구 질문

• RQ1 해시를 사용하는 약한 요소 인식 접근법이 실용적인 문자열 매칭에서 강한 요소 인식 방법을 능가할 수 있는가?
• RQ2 Wfr 알고리즘이 패턴 길이와 알파벳 크기가 변화할 때 BNDM, BOM, BSDM 등의 기존 알고리즘과 비교해 어떻게 성능을 내는가?
• RQ3 단일 해시 함수를 사용하는 것과 다중 함수를 사용하는 것의 영향은 잘못된 양성과 전체 효율성에 어떤 영향을 미치는가?
• RQ4 최악의 경우 O(nm) 복잡도를 지닌다 하더라도 Wfr 알고리즘이 평균적으로 선형 이하의 성능을 보일 수 있는가?
• RQ5 어떤 입력 환경(예: 소규모 대비 대규모 알파벳, 긴 대비 짧은 패턴)에서 Wfr 알고리즘이 가장 큰 성능 이점을 보이는가?

주요 결과

• Wfr 알고리즘은 소규모 알파벳과 긴 패턴에서 기존 알고리즘보다 최대 28% 빠른 성능 향상을 보이며, 특히 DNA 및 단백질 시퀀스에서 두드러진다.
• 비연결 루프 최적화를 적용한 Wfr_q 변종은 중간에서 긴 패턴(m ≥ 32)에 대해 가장 빠른 솔루션이 되었으며, 많은 경우 BSDM_q와 EBOM을 능가한다.
• 소규모 알파벳에서는 성능 향상이 최대 25%에 이르며, 대규모 알파벳에서는 여전히 최대 14%의 유의미한 향상이 있었다.
• 최악의 경우 O(nm) 시간 복잡도를 지닌다 하더라도, 실질적으로는 선형 이하의 평균 행동을 보였다.
• m ≥ 256일 경우 Wfr 알고리즘은 더 긴 평균 이동 거리 덕분에 BSDM_q보다 우수한 성능을 보였다. 이는 비교 횟수를 줄였기 때문이다.
• 단일이고 잘 설계된 해시 함수의 사용은 최소한의 오버헤드로 빠른 요소 인식을 가능하게 하여 알고리즘을 단순하면서도 매우 효과적으로 만들었다.