[論文レビュー] Fast Searching in Packed Strings

Philip Bille|arXiv (Cornell University)|Jul 17, 2009

Algorithms and Data Compression参考文献 15被引用数 6

ひとこと要約

この論文は、単位コストワード-RAM 上で $ O\bigl(\frac{n}{\log_\sigma n} + m + \mathrm{occ}\bigr) $ の時間計算量を達成するために、新しいセグメントオートマトンと表形式の遷移シミュレーションを用いた、パックドストリングにおける正確な文字列照合の高速アルゴリズムを提示する。この手法はワードレベルの並列処理と、部分オートマトンのコンパクトな符号化を活用し、$ m = o(n) $ の場合に古典的な Knuth-Morris-Pratt の境界を上回り、$ m = O(n / \log_\sigma n) $ の場合に最適性を達成する。

ABSTRACT

Given strings $P$ and $Q$ the (exact) string matching problem is to find all positions of substrings in $Q$ matching $P$. The classical Knuth-Morris-Pratt algorithm [SIAM J. Comput., 1977] solves the string matching problem in linear time which is optimal if we can only read one character at the time. However, most strings are stored in a computer in a packed representation with several characters in a single word, giving us the opportunity to read multiple characters simultaneously. In this paper we study the worst-case complexity of string matching on strings given in packed representation. Let $m \leq n$ be the lengths $P$ and $Q$, respectively, and let $σ$ denote the size of the alphabet. On a standard unit-cost word-RAM with logarithmic word size we present an algorithm using time $$ O\left(\frac{n}{\log_σn} + m + \occ ight). $$ Here $\occ$ is the number of occurrences of $P$ in $Q$. For $m = o(n)$ this improves the $O(n)$ bound of the Knuth-Morris-Pratt algorithm. Furthermore, if $m = O(n/\log_σn)$ our algorithm is optimal since any algorithm must spend at least $Ω(\frac{(n+m)\log σ}{\log n} + \occ) = Ω(\frac{n}{\log_σn} + \occ)$ time to read the input and report all occurrences. The result is obtained by a novel automaton construction based on the Knuth-Morris-Pratt algorithm combined with a new compact representation of subautomata allowing an optimal tabulation-based simulation.

研究の動機と目的

• パックドストリングにおける文字列照合の最悪計算量を改善すること。ここでのパックドストリングとは、1ワードに複数の文字を格納しているデータ構造を指す。
• Knuth-Morris-Pratt などの古典的アルゴリズムの制限を克服すること。これらのアルゴリズムは1文字ずつアクセスを仮定しており、ワードレベルの並列処理を活用できない。
• 部分状態をコンパクトに符号化し、表形式によるシミュレーションを可能にするデータ構造とアルゴリズムを設計し、近似的に最適な性能を達成すること。
• パターンに依存しない事前計算可能なテーブルを用いることで、複数の検索を効率的に行えるようにすること。
• 特に $ m = O(n / \log_\sigma n) $ の場合に、情報理論的下界 $ \Omega\bigl(\frac{n}{\log_\sigma n} + \mathrm{occ}\bigr) $ と一致するため、最適性を示すこと。

提案手法

• KMPオートマトン $ K $ のコンパクト表現としてのセグメントオートマトン $ C(P,r) $ を導入し、$ r = \Theta(\log n) $ のサイズの重複する区間へ状態をグループ化する。
• セグメント境界に基づいてオートマトンを部分オートマトンに分割し、事前計算された遷移テーブルを用いて効率的なシミュレーションを可能にする。
• 各セグメントの Next 関数を表形式で計算し、1イテレーションあたり最大 $ r-1 $ 文字の遷移を定数時間でシミュレート可能にする。
• 軽い遷移（失敗でも受理でもない遷移）をまとめて処理し、重い遷移や受理遷移は個別に処理するように変更されたシミュレーションアルゴリズムを適用する。
• ワードレベルの並列処理とビット操作を活用し、複数の文字を同時に処理することでイテレーション回数を削減する。
• 空間計算量を $ O(n^\varepsilon + m) $ に最適化するため、$ t = n^\varepsilon $ と設定し、時間と空間の複雑さのバランスを取る。

実験結果

リサーチクエスチョン

• RQ1 ワードレベルの並列処理を活用することで、パックドストリング照合において1文字あたりの計算量をサブラインラーリティに抑えることは可能か？
• RQ2 高速なシミュレーションを可能にし、最適な時間計算量を達成できるようなコンパクトなオートマトン表現を設計することは可能か？
• RQ3 頻繁な状態変更に起因する $ O(n) $ 時間のオーバーヘッドを回避しながら、パックドストリングにおけるオートマトン遷移を効率的にシミュレートする方法は何か？
• RQ4 表形式の技術を KMP オートマトンに適応させることで、パックドストリングにおいて最適な性能を達成できるか？
• RQ5 パックドストリング照合の理論的限界は何か？ そして、それを達成できるか？

主な発見

• 提案されたアルゴリズムは、対数的ワードサイズの単位コストワード-RAM 上で $ O\bigl(\frac{n}{\log_\sigma n} + m + \mathrm{occ}\bigr) $ の時間計算量を達成する。
• $ m = o(n) $ の場合、これは古典的な Knuth-Morris-Pratt アルゴリズムの $ O(n) $ の境界を上回る。
• $ m = O(n / \log_\sigma n) $ の場合、情報理論的下界 $ \Omega\bigl(\frac{n}{\log_\sigma n} + \mathrm{occ}\bigr) $ と一致し、最適性が保証される。
• 任意の定数 $ \varepsilon \in (0,1) $ に対して空間計算量は $ O(n^\varepsilon + m) $ であり、効率的なメモリ使用が可能である。
• 新しいセグメントオートマトンと表形式の遷移シミュレーションを用いることで、複数文字を一括処理でき、イテレーション回数を $ O(n/r + \mathrm{occ}) $ に削減する。
• パターンに依存しない事前計算テーブルを用いることで、複数の検索に拡張可能であり、クエリ間で再利用可能である。