[논문 리뷰] Fast and Compact Regular Expression Matching

Philip Bille, Martı́n Farach-Colton|ArXiv.org|2005. 09. 22.

Algorithms and Data Compression참고 문헌 30인용 수 7

한 줄 요약

이 논문은 워드 램 모델에서 단어 수준 병렬 처리와 Four Russian 기법을 활용하여 정규 표현식 매칭, 근사 정규 표현식 매칭, 문자열 편집 거리, 부분수열 색인화에 대한 개선된 알고리즘을 제시한다. 동적 프로그래밍과 벤 엠데 보아스 트리, 최적화된 탭루레이션을 포함한 효율적인 데이터 구조를 결합함으로써, 특히 알파벳 크기 의존성을 제거함으로써 더 빠른 쿼리 시간과 더 적은 공간 사용을 달성한다.

ABSTRACT

We study 4 problems in string matching, namely, regular expression matching, approximate regular expression matching, string edit distance, and subsequence indexing, on a standard word RAM model of computation that allows logarithmic-sized words to be manipulated in constant time. We show how to improve the space and/or remove a dependency on the alphabet size for each problem using either an improved tabulation technique of an existing algorithm or by combining known algorithms in a new way.

연구 동기 및 목표

• 로그arithmic 단어 크기를 가진 워드 램 모델에서 정규 표현식 매칭의 시간 및 공간 효율성을 향상시키기 위해.
• 근사 정규 표현식 매칭 및 문자열 편집 거리 알고리즘에서 알파벳 크기 의존성을 제거하기 위해.
• 하이브리드 데이터 구조를 통해 전처리 공간 또는 쿼리 시간을 줄임으로써 부분수열 색인화를 최적화하기 위해.
• Four Russian 기법과 벤 엠데 보아스 트리와 같은 고급 데이터 구조를 사용하여 기존 알고리즘을 통합하고 향상시키기 위해.
• 정확성이나 일반성에 손상이 가지 않는 한, 기본 문자열 매칭 문제에 대해 더 빠르고 더 컴팩트한 솔루션을 제공하기 위해.

제안 방법

• 동적 프로그래밍의 부분 문제를 탭루레이션하여 Four Russian 기법을 적용함으로써 시간 복잡도를 단어 크기와 관련된 인자만큼 감소시킨다.
• 다중 문자를 동시에 처리할 수 있도록 단어 수준 병렬 처리를 적용하여 정규 표현식 매칭의 상수 요소 성능을 향상시킨다.
• 후속자 쿼리 성능 향상을 위해 압축된 오토마타 표현 방식과 벤 엠데 보아스 트리를 결합하여 부분수열 색인화를 가속화한다.
• 문자들을 블록 단위로 그룹화하는 계층적 데이터 구조를 도입하여, 블록 내에서의 빠른 후속자 쿼리와 블록 간 장거리 점프를 활용한다.
• 큰 알파벳 크기에서 공간을 O(n) 단위에서 O(n log σ) 비트로 감소시키면서도 빠른 쿼리 시간을 유지하기 위해 최신 랭크/선택 데이터 구조를 활용한다.
• 표준 동적 프로그래밍 테이블에 탭루레이션을 적용하여 문자열 편집 거리를 최적화함으로써 시간 복잡도를 log²k 요소로 감소시키고 알파벳 크기 의존성을 제거한다.

실험 결과

연구 질문

• RQ1 워드 수준 병렬 처리와 탭루레이션을 활용하여 정규 표현식 매칭을 더 빠르고 공간 효율적으로 만들 수 있는가?
• RQ2 성능을 저하시키지 않고 근사 정규 표현식 매칭 및 문자열 편집 거리에서 알파벳 크기 의존성을 제거할 수 있는가?
• RQ3 큰 알파벳 크기에 대해 부분수열 색인화에서 전처리 시간, 공간, 쿼리 시간 간 최적의 트레이드오프는 무엇인가?
• RQ4 Four Russian 기법을 현대적인 데이터 구조인 벤 엠데 보아스 트리와 효과적으로 조합하여 문자열 매칭 알고리즘을 향상시킬 수 있는가?
• RQ5 근선형 또는 부분선형 전처리 공간을 사용하면서도 부분수열 색인화에서 부분선형 쿼리 시간을 달성할 수 있는가?

주요 결과

• 정규 표현식 매칭은 임의의 k ≤ w에 대해 O(nm/k + n + m log m) 시간과 O(2^k + m) 공간으로 해결되며, 이는 마이어스의 시간 복잡도를 유지하면서 공간을 크게 감소시킨다.
• 근사 정규 표현식 매칭은 O(mn log(d+2)/k + n + m log m) 시간과 O(2^k + m) 공간으로 해결되며, 알파벳 크기에 독립적이다.
• 문자열 편집 거리는 임의의 알파벳에 대해 O(mn log²k / k² + m + n) 시간과 O(2^k + min(m,n)) 공간으로 계산되며, 상수 알파벳 가정을 제거한다.
• 부분수열 색인화는 O(n) 전처리 공간으로 O(m log log σ) 쿼리 시간을 달성하거나, 임의의 ε > 0에 대해 O(nσ^ε) 전처리 공간으로 O(m) 쿼리 시간을 달성한다.
• 블록 기반 오토마타와 벤 엠데 보아스 트리를 조합한 하이브리드 데이터 구조는 O(n) 공간으로 O(m log log σ) 쿼리 시간을 제공하며, 이는 이전의 O(nσ) 공간 솔루션보다 향상된 성능이다.
• 고급 랭크/선택 구조를 활용하면 부분수열 색인화를 O(n log σ + o(n log σ)) 비트 공간으로 구현할 수 있으며, O(m log log σ) 쿼리 시간을 유지하여 가장 빠른 알려진 쿼리 시간과 최적 공간을 동시에 달성한다.