[論文レビュー] A Dichotomy for Regular Expression Membership Testing

Karl Bringmann, Allan Grønlund+1 more|arXiv (Cornell University)|Nov 3, 2016

Complexity and Algorithms in Graphs参考文献 1被引用数 4

ひとこと要約

この論文は、強い指数時間仮説（SETH）の下で、正規表現メンバーシップテストに対して完全な二分法を確立し、すべての有界深さの同型正規表現タイプが、ほぼ線形時間で解けるか、二次時間が必要であることを証明している。唯一の例外はワードブレイク問題である。本論文では、ワードブレイク問題に対して Õ(nm¹ᐟ³ + m) の決定的アルゴリズムを提示し、一致する条件付き下界を証明することで、この分類における唯一の中間問題であることを確立している。

ABSTRACT

We study regular expression membership testing: Given a regular expression of size $m$ and a string of size $n$, decide whether the string is in the language described by the regular expression. Its classic $O(nm)$ algorithm is one of the big success stories of the 70s, which allowed pattern matching to develop into the standard tool that it is today. Many special cases of pattern matching have been studied that can be solved faster than in quadratic time. However, a systematic study of tractable cases was made possible only recently, with the first conditional lower bounds reported by Backurs and Indyk [FOCS'16]. Restricted to any "type" of homogeneous regular expressions of depth 2 or 3, they either presented a near-linear time algorithm or a quadratic conditional lower bound, with one exception known as the Word Break problem. In this paper we complete their work as follows: 1) We present two almost-linear time algorithms that generalize all known almost-linear time algorithms for special cases of regular expression membership testing. 2) We classify all types, except for the Word Break problem, into almost-linear time or quadratic time assuming the Strong Exponential Time Hypothesis. This extends the classification from depth 2 and 3 to any constant depth. 3) For the Word Break problem we give an improved $ ilde{O}(n m^{1/3} + m)$ algorithm. Surprisingly, we also prove a matching conditional lower bound for combinatorial algorithms. This establishes Word Break as the only intermediate problem. In total, we prove matching upper and lower bounds for any type of bounded-depth homogeneous regular expressions, which yields a full dichotomy for regular expression membership testing.

研究の動機と目的

• 強い指数時間仮説（SETH）の下で、有界深さの同型正規表現メンバーシップ問題を、ほぼ線形時間または二次時間に分類すること。
• ワードブレイク問題の未解決状態を、より速い決定的アルゴリズムの提供と一致する条件付き下界の証明によって解消すること。
• 従来の研究が残した穴を埋めるために、深さ2および3から任意の定数深さへと二分法を拡張すること。
• ワードブレイクが、近線形時間と二次時間の間の唯一の中間複雑度クラスに属する問題であることを確立すること。

提案手法

• 既存の特別なケースの正規表現メンバーシップテストに対する解決法を一般化した、2つの新しいほぼ線形時間アルゴリズムを開発した。
• 細粒度の還元を用いて、任意のタイプtのメンバーシップが、SETHの下でほぼ線形時間で解けるか、それとも難しいかを示した。具体的には、∘⋆、∘|∘、または∘+∘などの既知の難問タイプに還元した。
• ワードブレイク問題に対する、新しい決定的アルゴリズムを導入した。このアルゴリズムは Õ(nm¹ᐟ³ + m) 時間で動作し、以前の確率的 Õ(nm¹ᐟ²⁻¹ᐟ¹⁸ + m) の境界を改善した。
• ワードブレイク問題における組合せ的アルゴリズムに対する一致する条件付き下界を証明した。これにより、SETHが成り立たない限り、より速い組合せ的アルゴリズムは存在しないことが示された。
• 重複するタイプを排除するために簡略化ルールを適用し、問題空間を最小限の難問・易問のケースに削減した。
• すべての可能なタイプの木構造図を構築し、深さと演算の順序に基づいてメンバーシップ問題を体系的に分類した。各タイプにアルゴリズム的複雑度または難問性をマークした。

実験結果

リサーチクエスチョン

• RQ1 有界深さの同型正規表現メンバーシップテストは、SETHの下で、ほぼ線形時間か二次時間に完全に二分できるか？
• RQ2 以前の確率的 Õ(nm¹ᐟ²⁻¹ᐟ¹⁸ + m) の境界よりも速く、かつ決定的に解けるワードブレイク問題は存在するか？
• RQ3 ワードブレイク問題は、正規表現メンバーシップテストにおいて、近線形時間と二次時間の間の唯一の中間ケースを表すか？
• RQ4 メンバーシップ問題の分類は、深さ3を越えて任意の定数深さへと拡張可能か？
• RQ5 ワードブレイク問題に対して、より速い組合せ的アルゴリズムが存在しないことを示す一致する条件付き下界は存在するか？

主な発見

• ワードブレイク問題に対して、以前の確率的 Õ(nm¹ᐟ²⁻¹ᐟ¹⁸ + m) の境界を改善する決定的 Õ(nm¹ᐟ³ + m) のアルゴリズムが得られた。
• ワードブレイク問題における組合せ的アルゴリズムに対する一致する条件付き下界が証明され、SETHが成り立たない限り、より速い組合せ的アルゴリズムは存在しないことが示された。
• すべての有界深さの同型正規表現メンバーシップ問題は、SETHの下で2つのカテゴリに分類される：ほぼ線形時間で解けるか、(nm)¹⁻ᵒ⁽¹⁾ 時間を要する。
• ワードブレイク問題は唯一の中間複雑度クラスに属するため、二分法の唯一の例外である。
• 分類はすべての定数深さへと拡張され、正規表現メンバーシップテストの完全な二分法が達成された。
• 結果は、系統的な還元フレームワークと、簡略化ルールおよび還元による難問性の伝搬を伴う、タイプの木ベースの列挙に基づいている。