[논문 리뷰] New Algorithms for Regular Expression Matching

Philip Bille|ArXiv.org|2006. 06. 28.

Algorithms and Data Compression인용 수 5

한 줄 요약

이 논문은 단위비용 램 모델에서 단어 수준의 병렬 처리를 활용하여 O(m) 공간을 사용하면서도 개선된 시간 복잡도를 달성하는 정규 표현식 매칭을 위한 새로운 알고리즘을 제안한다. 주요 기여는 NFA의 계층적 분해와 효율적인 비트스트링 연산을 통해 각 단계에서 O(log m) 시간 내에 상태 집합을 시뮬레이션함으로써, 작은 정규표현식부터 중간 크기의 정규표현식에 대해 선형 이하의 시간 복잡도를 달성하는 것이다. 특히 m ≤ √w 또는 w > log²n 인 경우에 유리하다.

ABSTRACT

In this paper we revisit the classical regular expression matching problem, namely, given a regular expression $R$ and a string $Q$, decide if $Q$ matches one of the strings specified by $R$. Let $m$ and $n$ be the length of $R$ and $Q$, respectively. On a standard unit-cost RAM with word length $w \geq \log n$, we show that the problem can be solved in $O(m)$ space with the following running times: \begin{equation*} \begin{cases} O(n\frac{m \log w}{w} + m \log w) & ext{if $m > w$} \\ O(n\log m + m\log m) & ext{if $\sqrt{w} < m \leq w$} \\ O(\min(n+ m^2, n\log m + m\log m)) & ext{if $m \leq \sqrt{w}$.} \end{cases} \end{equation*} This improves the best known time bound among algorithms using $O(m)$ space. Whenever $w \geq \log^2 n$ it improves all known time bounds regardless of how much space is used.

연구 동기 및 목표

• O(m) 공간 사용을 유지하면서 정규 표현식 매칭의 시간 복잡도를 향상시키기 위해.
• 기존의 NFA 시뮬레이션 및 DFA 구축 방법의 한계, 특히 DFA 기반 접근 방식의 지수적 공간 비용을 극복하기 위해.
• 단위비용 램 모델에서의 단어 수준 병렬 처리를 활용하여 기존 상태집합 방법보다 더 효율적으로 NFA를 시뮬레이션하기 위해.
• 실제로 캐시 미스를 유발하는 큰 DFA 테이블이 필요로 하는 것을 방지하고, 더 캐시 友好的한 대안을 제공하기 위해.

제안 방법

• 효율적인 병렬 시뮬레이션을 가능하게 하기 위해 NFA의 계층적 분해를 도입한다.
• 상태 집합을 비트스트링으로 표현하고, AND, OR, 시프트, NOT 등의 비트 연산을 사용하여 일괄적으로 전이를 시뮬레이션한다.
• 분리자 매핑 기법을 사용하여 NFA 상태를 구간으로 분할함으로써 사전에 계산된 비트맵을 통해 상수 시간 연산을 가능하게 한다.
• 단어 수준 병렬 처리를 활용하여 동시에 여러 NFA 상태를 시뮬레이션함으로써, 각 단계당 시간 복잡도를 O(m)에서 O(log m)로 감소시킨다.
• O(m log m) 전처리 시간과 각 연산에 O(log m) 시간이 소요되는 시뮬레이션 데이터 구조를 적용하여 상태집합 갱신을 효율적으로 수행한다.
• 재귀적 분해와 비트 수준 집계를 통해 큰 NFA 시뮬레이션을 더 작은 부분문제로 줄인다.

실험 결과

연구 질문

• RQ1 큰 DFA를 생성하지 않고도 단어 수준 병렬 처리를 통해 정규 표현식 매칭을 가속화할 수 있는가?
• RQ2 오직 O(m) 공간만을 사용할 때 정규 표현식 매칭의 최고로 달성 가능한 시간 복잡도는 무엇인가?
• RQ3 기존 방법의 각 단계당 O(m) 비용을 피하기 위해 NFA 상태집합 시뮬레이션을 어떻게 최적화할 수 있는가?
• RQ4 DFA 기반 방법의 지수적 공간 증가 문제를 피하면서도 근사 선형 시간 성능을 유지할 수 있는가?
• RQ5 워드 크기 w가 정규 표현식 매칭 알고리즘 성능을 결정하는 데 어떤 역할을 하는가?

주요 결과

• m > w 인 경우 알고리즘은 O(n·m·log w / w + m·log w) 시간을 달성하며, 큰 정규표현식에 대해 상당한 속도 향상을 제공한다.
• √w < m ≤ w 인 경우 시간 복잡도는 O(n·log m + m·log m)이며, 중간 크기의 정규표현식에 대해 Thompson의 O(n·m)보다 향상된다.
• m ≤ √w 인 경우 시간 복잡도는 O(min(n + m², n·log m + m·log m))이며, 매우 작은 정규표현식에 대해 최적의 O(n) 시간을 달성한다.
• w ≥ log²n 인 경우, 공간 사용에 관계없이 모든 알려진 시간 복잡도를 향상시키며, 향상된 단어 수준 병렬 처리 덕분이다.
• m = O(log n) 인 경우 알고리즘은 O(n·log log n) 시간과 O(log n) 공간을 달성하며, DFA 구축의 지수적 공간 비용을 피한다.
• 큰 검색 테이블을 피함으로써 캐시 미스를 줄이고, 이전의 DFA 기반 접근 방식에 비해 실용적인 이점이 있다.