[논문 리뷰] The Exact String Matching Problem: a Comprehensive Experimental Evaluation

Simone Faro, Thierry Lecroq|arXiv (Cornell University)|2010. 12. 12.

Algorithms and Data Compression참고 문헌 58인용 수 32

한 줄 요약

이 논문은 다양한 패턴 길이와 알파벳 크기에서 85개의 정확한 문자열 매칭 알고리즘에 대한 종합적인 실험 평가를 제시한다. 특정 조건에서 가장 효율적인 알고리즘을 규명하며, 예를 들어 매우 짧은 패턴의 경우 TVSBS, 매우 긴 패턴의 경우 SSEF를 제안한다. 성능은 패턴 길이와 알파벳 크기에 크게 의존한다.

ABSTRACT

This paper addresses the online exact string matching problem which consists in finding all occurrences of a given pattern p in a text t. It is an extensively studied problem in computer science, mainly due to its direct applications to such diverse areas as text, image and signal processing, speech analysis and recognition, data compression, information retrieval, computational biology and chemistry. Since 1970 more than 80 string matching algorithms have been proposed, and more than 50% of them in the last ten years. In this note we present a comprehensive list of all string matching algorithms and present experimental results in order to compare them from a practical point of view. From our experimental evaluation it turns out that the performance of the algorithms are quite different for different alphabet sizes and pattern length.

연구 동기 및 목표

• 1970년에서 2010년 사이에 제안된 모든 알려진 정확한 문자열 매칭 알고리즘을 체계적으로 비교하기 위해.
• 다양한 조건에서 비교 기반, 오토마타 기반, 비트 평행 문자열 매칭 알고리즘의 실용적 성능을 평가하기 위해.
• 패턴 길이와 알파벳 크기의 다양한 조합에 대해 가장 효율적인 알고리즘을 규명하기 위해.
• 실제 응용에서 최적의 문자열 매칭 알고리즘을 선택하기 위한 실용적 지침을 제공하기 위해.
• 광범위한 실험을 통해 패턴 길이와 알파벳 크기가 알고리즘 효율성에 미치는 영향을 분석하기 위해.

제안 방법

• 저자들은 비교 기반(예: KMP, 보이어-무어), 오토마타 기반(예: BOM, EBOM), 비트 평행(예: BNDM, SBNDM) 유형의 85개의 정확한 문자열 매칭 알고리즘을 구현하고 평가하였다.
• 다양한 데이터 특성을 반영하기 위해 12종의 다양한 텍스트 유형에서 실험을 수행하였다.
• 패턴 길이의 네 가지 클래스로 나누어 평가하였다: 매우 짧음(m ≤ 4), 짧음(4 < m ≤ 32), 길음(32 < m ≤ 256), 매우 길음(m > 256).
• 알파벳 크기는 네 그룹으로 분류되었다: 매우 작음(σ < 4), 작음(4 ≤ σ < 32), 큼(32 ≤ σ < 128), 매우 큼(σ > 128).
• 모든 테스트 케이스에 걸쳐 정규화된 평균 문자 비교 횟수(문자당)를 성능 측정 지표로 사용하였다.
• 모든 알고리즘 간의 공정하고 재현 가능한 비교를 보장하기 위해 표준화된 실험 프레임워크를 사용하였다.

실험 결과

연구 질문

• RQ1 매우 짧은 패턴(m ≤ 4)에 대해 다양한 알파벳 크기에서 어떤 문자열 매칭 알고리즘이 가장 우수한 성능을 보이는가?
• RQ2 패턴 길이와 알파벳 크기가 증가함에 따라 알고리즘 성능는 어떻게 변화하는가?
• RQ3 모든 패턴 길이와 알파벳 크기 조합에서 높은 효율성을 유지하는 알고리즘은 무엇인가?
• RQ4 다양한 조건에서 비트 평행, 오토마타 기반, 비교 기반 알고리즘의 상대적 성능는 어떻게 되는가?
• RQ5 특정 알고리즘 설정(예: q-그램 또는 루프 언롤링 사용)이 긴 패턴 또는 매우 긴 패턴에 대해 성능을 크게 향상시키는가?

주요 결과

• 매우 짧은 패턴(m ≤ 4)에서 매우 작은 알파벳(σ < 4)을 사용할 경우 SA 알고리즘이 가장 우수한 성능을 보인다.
• 작은 알파벳을 사용할 경우 매우 짧은 패턴에서 TVSBS 알고리즘이 가장 빠르며, 크기가 큰 알파벳(σ ≥ 32)을 사용할 경우 긴 패턴에서도 최고의 성능을 보인다.
• 매우 짧은 패턴과 큰 또는 매우 큰 알파벳을 사용할 경우 FJS 알고리즘이 가장 우수한 결과를 제공한다.
• 짧은 패턴(4 < m ≤ 32)에서는 큰 또는 매우 큰 알파벳을 사용할 경우 EBOM 알고리즘이 가장 효율적이며, 매우 큰 알파벳을 사용할 경우 SBNDM-BMH와 BMH-SBNDM이 최적의 성능을 보인다.
• 긴 패턴(32 < m ≤ 256)에서는 작은 알파벳을 사용할 경우 HASH $q$ 알고리즘이 가장 뛰어나며, 큰 또는 매우 큰 알파벳을 사용할 경우 FSBNDM이 뛰어난 성능을 보인다.
• 매우 긴 패턴(m > 256)에서는 SSEF 알고리즘이 가장 뛰어난 성능을 보이며, 일부 경우 FSBNDM이 오히려 더 빠를 수 있다.