[논문 리뷰] A Fast Generic Sequence Matching Algorithm

David R. Musser, Gor V. Nishanov|ArXiv.org|2008. 10. 01.

Algorithms and Data Compression참고 문헌 17인용 수 8

한 줄 요약

이 논문은 해시 코드화된 스킵 루프를 통합함으로써 KMP 알고리즘의 최악의 경우 효율성과 보이어-무어 알고리즘의 평균 경우 성능을 결합한 빠르고 일반적인 시퀀스 매칭 알고리즘을 제시한다. 이 알고리즘은 최대 2n번의 비교로 선형 최악의 경우 시간 복잡도를 달성하고 평균 경우에 하위선형 행동을 보이며, DNA 및 유니코드 시퀀스를 포함한 다양한 시나리오에서 기존의 보이어-무어 변종보다 뛰어난 성능을 보이며, STL과 같은 일반적인 C++ 라이브러리에 적합하다.

ABSTRACT

A string matching -- and more generally, sequence matching -- algorithm is presented that has a linear worst-case computing time bound, a low worst-case bound on the number of comparisons (2n), and sublinear average-case behavior that is better than that of the fastest versions of the Boyer-Moore algorithm. The algorithm retains its efficiency advantages in a wide variety of sequence matching problems of practical interest, including traditional string matching; large-alphabet problems (as in Unicode strings); and small-alphabet, long-pattern problems (as in DNA searches). Since it is expressed as a generic algorithm for searching in sequences over an arbitrary type T, it is well suited for use in generic software libraries such as the C++ Standard Template Library. The algorithm was obtained by adding to the Knuth-Morris-Pratt algorithm one of the pattern-shifting techniques from the Boyer-Moore algorithm, with provision for use of hashing in this technique. In situations in which a hash function or random access to the sequences is not available, the algorithm falls back to an optimized version of the Knuth-Morris-Pratt algorithm.

연구 동기 및 목표

• 최악의 경우 시간 복잡도가 최적화되고 평균 경우 성능이 향상된 시퀀스 매칭 알고리즘을 개발하기.
• 기존 알고리즘의 한계를 해결하기 위해 소문자 알파벳, 긴 패턴 문제(예: DNA) 및 대규모 알파벳 환경(예: 유니코드)에서의 성능을 향상시키기.
• STL과 같은 C++ 표준 라이브러리에 통합 가능한 일반적인 알고리즘 설계를 통해 임의의 시퀀스 유형을 지원하기.
• KMP의 견고성과 새로운 해시 최적화 스킵 메커니즘의 조합을 통해 다양한 입력 유형에서 효율성을 균형 있게 확보하기.
• 임의 접근 또는 해시 기능이 사용 불가능할 경우 최적화된 KMP로의 패러다임 전환을 통해 일관된 성능을 보장하기.

제안 방법

• 알고리즘은 가속화된 보이어-무어(ABM) 알고리즘에서 영감을 얻은 스킵 루프를 통합함으로써 KMP 알고리즘의 확장판을 제공한다.
• 불일치 발생 후 패턴을 얼마나 이동시킬지 효율적으로 결정하기 위해 해시 코드화된 스킵 기법을 사용하여 평균 경우 비교 횟수를 줄인다.
• 해시 또는 임의 접근이 불가능할 경우 표준 KMP 변종으로의 패러다임 전환 기능을 포함하여 최악의 경우 보장을 유지한다.
• 임의의 시퀀스 유형 T를 위한 일반 템플릿으로 구현되어 C++ 표준 템플릿 라이브러리(STL) 및 유사한 일반 라이브러리에서 사용 가능하도록 한다.
• 불일치 복구를 위한 다음 테이블(일반적으로 KMP와 유사)과 문자 빈도 및 해시를 사용해 계산된 스킵 테이블을 활용하여 빠른 패턴 이동을 지원한다.
• 다양한 변종을 지원: 해시 기반의 빠른 스킵, 해시 없음, 순수 KMP 백업 등으로, 사용 가능한 연산에 따라 선택 가능.

실험 결과

연구 질문

• RQ1 최악의 경우 O(n) 시간 복잡도를 유지하면서도 하위선형 평균 경우 성능을 달성할 수 있는 일반 시퀀스 매칭 알고리즘을 설계할 수 있는가?
• RQ2 소문자 알파벳, 긴 패턴 문제(예: DNA 시퀀스 매칭)에서 보이어-무어 스킵 루프의 효율성을 어떻게 유지할 수 있는가?
• RQ3 해시 코드화된 스킵 메커니즘이 유니코드 텍스트 처리와 같은 대규모 알파벳 환경에서 성능 향상에 기여할 수 있는가?
• RQ4 KMP 기반 알고리즘에 스킵 루프를 통합할 경우 초기화 비용과 평균 경우 속도 사이의 상충 관계는 어떻게 평가할 수 있는가?
• RQ5 이러한 알고리즘을 어떻게 일반화하여 C++ 템플릿에서 임의의 시퀀스 유형을 지원할 수 있는가?

주요 결과

• 알고리즘은 최악의 경우 2n번의 비교로 KMP와 동일한 상한선을 확보하여 예측 가능한 성능을 보장한다.
• 평균 경우 영어 텍스트 검색에서 최고의 알려진 보이어-무어 변종(TBM, LC 포함)보다도 최적화된 스킵 로직 덕분에 더 뛰어난 성능을 보인다.
• 해시 코드화된 스킵 루프 덕분에 기존 보이어-무어 스킵 테이블이 메모리 소비가 크기 쉬운 대규모 알파벳 환경(예: 유니코드)에서도 효율적인 성능을 달성한다.
• 긴 패턴, 소문자 알파벳 문제(예: DNA 매칭)에서는 기존 보이어-무어 변종에서 관찰되는 성능 저하를 피할 수 있다.
• 해시 또는 임의 접근이 불가능할 경우 최적화된 KMP 변종으로 유연하게 전환되어 최악의 경우 효율성을 유지한다.
• 벤치마킹 결과는 이 알고리즘이 단어 검색, 대규모 텍스트, 일반 C++ 컨텍스트에서의 시퀀스 매칭을 포함한 다양한 워크로드에서 뛰어난 성능을 보임을 확인한다.