[논문 리뷰] A Dichotomy for Regular Expression Membership Testing

Karl Bringmann, Allan Grønlund외 1명|arXiv (Cornell University)|2016. 11. 03.

Complexity and Algorithms in Graphs참고 문헌 1인용 수 4

한 줄 요약

이 논문은 강력한 지수시간 가설(SETH) 하에서 정규표현식 멤버십 테스팅에 대한 완전한 이분법을 수립한다. 모든 유계 깊이 동질적 정규표현식 유형이 거의 선형 시간 또는 이차 시간에 해결 가능하며, 유일한 예외는 워드 브레이크 문제임을 증명한다. 이 논문은 워드 브레이크 문제에 대해 Õ(nm¹ᐟ³ + m)의 결정적 알고리즘을 제시하고, 이를 뒷받침하는 조건부 하한을 증명하여, 이 문제가 이 분류에서 유일한 중간 복잡도 문제임을 입증한다.

ABSTRACT

We study regular expression membership testing: Given a regular expression of size $m$ and a string of size $n$, decide whether the string is in the language described by the regular expression. Its classic $O(nm)$ algorithm is one of the big success stories of the 70s, which allowed pattern matching to develop into the standard tool that it is today. Many special cases of pattern matching have been studied that can be solved faster than in quadratic time. However, a systematic study of tractable cases was made possible only recently, with the first conditional lower bounds reported by Backurs and Indyk [FOCS'16]. Restricted to any "type" of homogeneous regular expressions of depth 2 or 3, they either presented a near-linear time algorithm or a quadratic conditional lower bound, with one exception known as the Word Break problem. In this paper we complete their work as follows: 1) We present two almost-linear time algorithms that generalize all known almost-linear time algorithms for special cases of regular expression membership testing. 2) We classify all types, except for the Word Break problem, into almost-linear time or quadratic time assuming the Strong Exponential Time Hypothesis. This extends the classification from depth 2 and 3 to any constant depth. 3) For the Word Break problem we give an improved $ ilde{O}(n m^{1/3} + m)$ algorithm. Surprisingly, we also prove a matching conditional lower bound for combinatorial algorithms. This establishes Word Break as the only intermediate problem. In total, we prove matching upper and lower bounds for any type of bounded-depth homogeneous regular expressions, which yields a full dichotomy for regular expression membership testing.

연구 동기 및 목표

• 강력한 지수시간 가설(SETH) 하에서 유계 깊이 동질적 정규표현식 멤버십 문제를 거의 선형 시간 또는 이차 시간으로 분류하는 것을 완성하기.
• 워드 브레이크 문제의 열린 상태를 해결하기 위해 더 빠른 결정적 알고리즘을 제공하고, 이를 뒷받침하는 조건부 하한을 증명하기.
• 기존 연구에서 남긴 격차를 메우기 위해 깊이 2와 3에서 임의의 상수 깊이로 이분법을 확장하기.
• 워드 브레이크가 거의 선형 시간과 이차 시간 사이의 중간 복잡도 클래스에서 유일한 문제임을 입증하기.

제안 방법

• 특수한 정규표현식 멤버십 테스팅 케이스의 기존 해결 방법을 일반화한 두 가지 새로운 거의 선형 시간 알고리즘을 개발하였다.
• 세밀한 시간 복잡도 감소를 통해, 임의의 유형 t에 대해 멤버십 문제가 SETH 하에서 거의 선형 시간에 해결 가능하거나, ∘⋆, ∘|∘, 또는 ∘+∘와 같은 알려진 어려운 유형으로 감소됨을 보여, 거의 선형 시간 또는 어려움으로 분류됨을 입증하였다.
• 워드 브레이크 문제에 대해 Õ(nm¹ᐟ³ + m) 시간에 실행되는 새로운 결정적 알고리즘을 도입하여, 이전의 랜덤화된 Õ(nm¹ᐟ²⁻¹ᐟ¹⁸ + m) bound를 향상시켰다.
• 워드 브레이크 문제에 대해 조건부 하한을 증명하여, SETH가 성립하지 않는 한 더 빠른 조합적 알고리즘이 존재하지 않음을 보였다.
• 중복된 유형을 제거하고 문제 공간을 최소한의 어려운 경우와 쉬운 경우로 축소하기 위해 단순화 규칙을 적용하였다.
• 모든 가능한 유형의 트리 다이어그램을 구성하여 깊이와 연산 순서에 따라 멤버십 문제를 체계적으로 분류하였으며, 각각에 대해 알고리즘 복잡도 또는 어려움을 표시하였다.

실험 결과

연구 질문

• RQ1 SETH 하에서 유계 깊이 동질적 정규표현식 멤버십 테스팅에 대해 완전한 이분법이 존재하는가? 즉, 문제들이 거의 선형 시간 또는 이차 시간 복잡도로 분리되는가?
• RQ2 이전에 알려진 랜덤화된 Õ(nm¹ᐟ²⁻¹ᐟ¹⁸ + m) bound 보다 더 빠르게 워드 브레이크 문제를 해결할 수 있으며, 이 개선이 결정적으로 가능한가?
• RQ3 워드 브레이크 문제는 정규표현식 멤버십 테스팅에서 거의 선형 시간과 이차 시간 복잡도 사이의 유일한 중간 사례인가?
• RQ4 멤버십 문제의 분류는 깊이 3을 넘어서 임의의 상수 깊이로 확장 가능한가?
• RQ5 워드 브레이크 문제에 대해 더 빠른 조합적 알고리즘을 배제하는 조건부 하한이 존재하는가?

주요 결과

• 워드 브레이크 문제는 이전의 랜덤화된 Õ(nm¹ᐟ²⁻¹ᐟ¹⁸ + m) bound 보다 향상된 결정적 Õ(nm¹ᐟ³ + m) 알고리즘을 갖는다.
• 워드 브레이크 문제에 대해 조합적 알고리즘에 대한 조건부 하한이 증명되었으며, SETH가 성립하지 않는 한 더 빠른 조합적 알고리즘이 존재하지 않음을 보였다.
• 모든 유계 깊이 동질적 정규표현식 멤버십 문제는 SETH 하에서 두 범주로 분류된다: 거의 선형 시간에 해결 가능하거나 (nm)¹⁻ᵒ⁽¹⁾ 시간이 필요하다.
• 워드 브레이크 문제는 유일한 중간 복잡도 클래스 문제이므로, 이분법의 유일한 예외이다.
• 분류는 모든 상수 깊이로 확장되어 정규표현식 멤버십 테스팅에 대한 완전한 이분법을 완성한다.
• 결과는 체계적인 감소 프레임워크와 단순화 규칙, 감소를 통한 어려움 전파를 기반으로 하며, 모든 가능한 유형의 트리 기반 열거를 포함한다.