[논문 리뷰] Efficient Pattern Matching on Binary Strings

Simone Faro, Thierry Lecroq|ArXiv.org|2008. 10. 14.

Algorithms and Data Compression참고 문헌 10인용 수 12

한 줄 요약

이 논문은 비트 수준 연산 없이 바이트 단위로 데이터를 처리하도록 설계된 두 가지 효율적인 알고리즘—Binary-Skip-Search와 Binary-Hash-Matching—을 제시한다. 두 알고리즘 모두 기존 방법보다 뛰어난 성능을 보이며, 균일한 문자 분포 하에서 Binary-Boyer-Moore보다 최대 10배 빠르고 Binary-Naive보다 최대 100배 빠르다. 반면 Binary-Hash-Matching는 비균일한 경우 Boyer-Moore 대비 텍스트 검사 횟수를 50% 이상 감소시킨다.

ABSTRACT

The binary string matching problem consists in finding all the occurrences of a pattern in a text where both strings are built on a binary alphabet. This is an interesting problem in computer science, since binary data are omnipresent in telecom and computer network applications. Moreover the problem finds applications also in the field of image processing and in pattern matching on compressed texts. Recently it has been shown that adaptations of classical exact string matching algorithms are not very efficient on binary data. In this paper we present two efficient algorithms for the problem adapted to completely avoid any reference to bits allowing to process pattern and text byte by byte. Experimental results show that the new algorithms outperform existing solutions in most cases.

연구 동기 및 목표

• 비트 수준 연산이 성능을 크게 저하시키는 바이너리 데이터에 적용할 때 기존 문자열 매칭 알고리즘이 비효율적임을 해결하기 위해.
• 비트 수준 조작을 피하고 바이트 또는 워드 수준에서 바이너리 문자열을 처리할 수 있는 알고리즘을 설계하기 위해.
• 네트워크 프로토콜, 이미지 처리, 압축 텍스트 등 실제 응용 분야에서 바이너리 데이터를 다룰 때 뛰어난 실용적 성능을 달성하기 위해.
• 다양한 바이너리 데이터 분포 패턴 하에서 새로운 알고리즘을 기존 솔루션과 평가 및 비교하기 위해.
• 블록 기반 처리 방식이 정확성과 최악의 시간 복잡도를 유지하면서도 상당한 속도 향상을 이끌 수 있음을 입증하기 위해.

제안 방법

• 개별 비트 접근을 피하기 위해 8비트 블록(바이트)을 직접 처리하는 방식으로 q-Hash 알고리즘을 바이너리 문자열에 적응시켰다.
• 바이트 정렬 매칭을 활용해 비교 시 다중 바이트를 건너뛰는 새로운 Binary-Skip-Search 알고리즘을 설계했다.
• 각 바이트를 단일 단위로 간주하는 블록 기반 모델을 도입해 효율적인 비교 및 이동 연산을 가능하게 하였다.
• Binary-Skip-Search에서 사전 계산된 이동 값용 조회 테이블을 활용해 문자 검사 횟수를 최소화하였다.
• Binary-Hash-Matching에서 바이트 크기의 청크에 대한 해시 함수를 통합해 매칭되지 않는 위치를 신속하게 걸러내도록 하였다.
• 두 알고리즘 모두 비트 수준 연산을 완전히 회피하고, 효율성을 위해 오직 바이트 또는 워드 수준 처리에 집중하였다.

실험 결과

연구 질문

• RQ1 비트 수준 연산을 피함으로써 기존 문자열 매칭 알고리즘을 바이너리 데이터에 대해 상당히 최적화할 수 있는가?
• RQ2 바이너리 문자열 매칭에서 바이트 수준 처리는 비트 수준 처리에 비해 성능 면에서 어떻게 비교되는가?
• RQ3 문자 분포(균일 vs. 비균일)가 바이너리 문자열 매칭 알고리즘의 성능에 미치는 영향은 무엇인가?
• RQ4 블록 기반 알고리즘은 실용적 상황에서 높은 속도와 낮은 검사 횟수를 동시에 달성할 수 있는가?
• RQ5 Binary-Boyer-Moore와 Binary-Naive와 같은 기존 변종 대비 제안된 알고리즘의 런타임과 텍스트 검사 횟수는 어떻게 비교되는가?

주요 결과

• 균일한 문자 분포 하에서 Binary-Skip-Search 알고리즘은 Binary-Boyer-Moore보다 최대 10배 빠르고 Binary-Naive보다 최대 100배 빠르다.
• 특히 긴 패턴에 대해 Binary-Skip-Search는 Binary-Boyer-Moore가 요구하는 텍스트 문자 검사 횟수의 50% 미만으로 수행된다.
• 비균일 분포 하에서 Binary-Hash-Matching 알고리즘은 Binary-Boyer-Moore가 수행하는 텍스트 검사 횟수의 50% 미만으로 감소시킨다.
• 비균일한 경우 Binary-Hash-Matching는 Binary-Boyer-Moore 대비 최소 두 배 이상의 속도 향상을 달성하며 일관된 성능 향상을 보인다.
• 모든 테스트 환경에서 제안된 알고리즘이 기존 솔루션을 모두 능가하며, 균일 분포에서는 Binary-Skip-Search가 뛰어난 성능을 보이고 비균일 분포에서는 Binary-Hash-Matching가 유리하다.
• 실험 결과는 바이트 수준 처리를 통해 비트 조작 없이도 모든 테스트 조건에서 뛰어난 실용적 성능을 달성할 수 있음을 확인한다.