[논문 리뷰] Exact Online String Matching Bibliography

Simone Faro|arXiv (Cornell University)|2016. 05. 17.

Algorithms and Data Compression참고 문헌 73인용 수 4

한 줄 요약

이 논문은 1970년 이후로 제안된 120개 이상의 온라인 정확한 문자열 매칭 알고리즘에 대한 체계적이고 연대순으로 정렬된 참고문헌을 제시한다. 알고리즘은 문자 비교, 패킹된 문자열 매칭, 기계기반 방법(정규 및 비트-병렬 변형 포함)으로 분류된다. 연구자들에게 기초 자료로 기능하며, 모든 알고리즘은 Smart 도구에 구현되어 있으며, 최적화된 사전처리 및 이동 히وري스틱을 통해 선형 시간 및 평균적으로 부분선형 성능 향상을 강조한다.

ABSTRACT

In this short note we present a comprehensive bibliography for the online exact string matching problem. The problem consists in finding all occurrences of a given pattern in a text. It is an extensively studied problem in computer science, mainly due to its direct applications to such diverse areas as text, image and signal processing, speech analysis and recognition, data compression, information retrieval, computational biology and chemistry. Since 1970 more than 120 string matching algorithms have been proposed. In this note we present a comprehensive list of (almost) all string matching algorithms. The list is updated to May 2016.

연구 동기 및 목표

• 1970년 이후로 발표된 온라인 정확한 문자열 매칭 알고리즘의 완전하고 최신의 참고문헌을 정리하고 체계화하기.
• 알고리즘을 네 가지 주요 범주로 분류하기: 문자 비교, 패킹된 문자열 매칭, 결정성 자동기계, 비결정성 자동기계의 비트-병렬 시뮬레이션.
• 문자열 매칭 분야의 연구자와 전문가를 위한 참고 자료 제공하며, 알고리즘 설계, 성능 및 구현에 중점을 둔다.
• 통합적이고 접근 가능한 카탈로그를 제공함으로써 신규 문자열 매칭 알고리즘의 개발 및 평가를 지원하며, 표준화된 약어와 참고문헌을 제공한다.
• 모든 목록에 포함된 알고리즘을 Smart 도구에 통합하여 실용적 실험과 벤치마킹을 가능하게 한다.

제안 방법

• 핵심 계산 모델에 따라 알고리즘을 분류: 문자 단위 비교, 단어 단위 패킹 비교, 결정성 자동기계, 비결정성 자동기계의 비트-병렬 시뮬레이션.
• 연대순 정렬을 통해 브루트 포스에서 비롯된 문자열 매칭 기법의 진화 과정을 추적한다.
• 각 알고리즘에 대해 표준화된 항목 형식을 적용: 이름, 약어, 참고문헌, 핵심 기능 및 혁신점 간략 기술.
• 시간 복잡도(예: O(n) 선형 시간, O(nm) 최악의 경우), 공간 사용량, 평균적 행동 등의 성능 통찰을 통합한다.
• 모든 알고리즘의 구현 및 검증을 위해 Smart 도구를 활용하여 재현 가능성과 성능 비교를 가능하게 한다.
• 이동 히وري스틱 향상과 비교 횟수 감소를 위해 q-grams, 슈퍼 알파벳, 다중 슬라이딩 윈도우, 레이아웃 기법 등을 도입한다.

실험 결과

연구 질문

• RQ1 1970년 이후 온라인 정확한 문자열 매칭에서 주요 알고리즘 가족과 발전 추세는 무엇인가?
• RQ2 문자 비교, 패킹된 단어 매칭, 자동기반 방법 등의 다양한 접근 방식은 시간 복잡도와 실용적 효율성 측면에서 어떻게 비교되는가?
• RQ3 선형 최악의 경우 복잡도를 유지하면서 부분선형 평균 복잡도 성능을 가능하게 하는 핵심 최적화 기법은 무엇인가?
• RQ4 q-grams, 다중 윈도우, 비트-병렬성 등의 현대 기법은 이동 히وري스틱과 비교 횟수 감소에 어떻게 기여하는가?
• RQ5 온라인 문자열 매칭 알고리즘의 최신 기술 수준는 어떠한가? 그리고 연구 및 응용을 위해 체계적으로 카탈로그화하고 구현할 수 있는 방법은 무엇인가?

주요 결과

• 1970년 이후 120개 이상의 온라인 문자열 매칭 알고리즘이 제안되었으며, 대부분은 네 가지 주요 범주에 속한다: 문자 비교, 패킹된 문자열 매칭, 결정성 자동기계, 비트-병렬 자동기계 시뮬레이션.
• Morris-Pratt 알고리즘(1970)은 온라인 문자열 매칭에서 O(n) 시간 복잡도를 달성한 최초의 알고리즘으로, 선형 시간 알고리즘의 기초를 마련했다.
• Boyer-Moore와 Horspool 알고리즘은 효율적인 오른쪽에서 왼쪽으로의 스캔과 이동 히وري스틱을 도입하여, O(nm) 최악의 경우 복잡도에도 불구하고 평균 성능을 크게 향상시켰다.
• 비트-병렬 알고리즘인 BNDM 및 그 변종들(예: SBNDM, BXS, BQL)은 비결정성 자동기계를 비트 연산으로 시뮬레이션함으로써 높은 성능을 달성하며, 일부는 패킹 매칭에서 O(n/α + occ) 시간 복잡도를 달성한다.
• SSE 명령어와 슈퍼 알파벳을 사용하는 패킹된 문자열 매칭 기법(예: Packed Belazzougui, SSECP, EPSM)은 단어당 다수의 문자를 동시에 비교함으로써 현대 프로세서에서 처리량을 향상시킨다.
• 고급 변종들인 FSBNDMqf, SBNDMw, TSAq는 레이아웃, 다중 윈도우, q-gram 슈퍼 알파벳을 사용하여 이동 결정을 더욱 최적화하고 비교 횟수를 줄이며, 특히 긴 패턴에 대해 유리하다.