[論文レビュー] Speeding Up String Matching by Weak Factor Recognition

Domenico Cantone, Simone Faro+1 more|arXiv (Cornell University)|Jul 3, 2017

Algorithms and Data Compression参考文献 16被引用数 4

ひとこと要約

本論文では、ハッシュを用いた弱い要因認識により、テキスト内のパターンのすべての出現箇所を効率的に特定する高速な文字列照合手法Wfrアルゴリズムを提示する。最悪計算量がO(nm)であるものの、平均的には線形未満の性能を達成し、特に小アルファベットと長いパターンにおいて、従来のアルゴリズムを最大28%高速に達成する。これは、より長いかつ効果的なシフトと最適化されたハッシュ処理のおかげである。

ABSTRACT

String matching is the problem of finding all the substrings of a text which match a given pattern. It is one of the most investigated problems in computer science, mainly due to its very diverse applications in several fields. Recently, much research in the string matching field has focused on the efficiency and flexibility of the searching procedure and quite effective techniques have been proposed for speeding up the existing solutions. In this context, algorithms based on factors recognition are among the best solutions. In this paper, we present a simple and very efficient algorithm for string matching based on a weak factor recognition and hashing. Our algorithm has a quadratic worst-case running time. However, despite its quadratic complexity, experimental results show that our algorithm obtains in most cases the best running times when compared, under various conditions, against the most effective algorithms present in literature. In the case of small alphabets and long patterns, the gain in running times reaches 28%. This makes our proposed algorithm one of the most flexible solutions in practical cases.

研究の動機と目的

• 膨大な先行研究が存在するにもかかわらず、実世界の応用においてより高速で実用的な文字列照合アルゴリズムの必要性に対応する。
• より弱いがより効率的な認識モデルを導入することで、既存の要因認識に基づくアルゴリズムを改善する。
• 多様な入力条件において高い性能を維持する、シンプルで高速かつ柔軟なソリューションを設計する。
• 弱い要因認識とハッシュ処理を組み合わせることで、強い要因認識手法と比較して競争力のある、あるいは優れた性能を達成できることを示す。
• DNA、タンパク質、自然言語などの実際のシーケンスを用いた標準化されたベンチマークを用いて、アルゴリズムの効率を実験的に評価する。

提案手法

• ハッシュ関数を用いて、テキスト内のパターンの潜在的要因を特定する弱い要因認識アプローチを提案する。
• 検索フェーズ中に部分文字列のハッシュ値を効率的に計算するために、ローリングハッシュを用いる。
• ハッシュ比較に基づいて不一致領域をスキップするシフト機構を実装し、不要な文字比較を削減する。
• 検索フェーズにおける性能をさらに向上させるために、アンチェーンドループ最適化を導入した変種Wfr_qを提示する。
• ハッシュ関数がパターンの真の要因をすべて受け入れるとともに、一部の偽陽性を含むことを利用し、正しさの確認は後続チェックに依存する。
• DNA、タンパク質、自然言語などの実際のシーケンスを用いた標準化されたベンチマークを用いて、最先端のアルゴリズムと本アルゴリズムの性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 ハッシュ処理を用いた弱い要因認識アプローチが、実用的な文字列照合において強い要因認識手法を上回る性能を発揮できるか？
• RQ2 Wfrアルゴリズムは、パターン長やアルファベットサイズが変化する中で、BNDM、BOM、BSDMといった既存のアルゴリズムと比較してどのように性能を発揮するか？
• RQ3 単一のハッシュ関数を用いる場合と複数の関数を用いる場合の、偽陽性の影響と全体的な効率への影響は何か？
• RQ4 Wfrアルゴリズムは、最悪計算量がO(nm)であるにもかかわらず、平均的に線形未満の性能を達成できるか？
• RQ5 どのような入力環境（例えば、小アルファベット対大アルファベット、長パタン対短パタン）において、Wfrアルゴリズムが最大の性能優位性を示すか？

主な発見

• Wfrアルゴリズムは、特にDNAやタンパク質配列において、小アルファベットと長いパタンにおいて、既存のアルゴリズムを最大28%高速に達成する。
• アンチェーンドループ最適化を施したWfr_q変種は、中程度から長いパタン（m ≥ 32）において、BSDM_q や EBOM を上回る最速のソリューションとなる。
• 小アルファベットでは性能向上が最大25%に達し、大アルファベットでは依然として最大14%の有意な向上が得られる。
• 最悪計算量がO(nm)であるにもかかわらず、実際の動作では線形未満の平均的動作を示す。
• m ≥ 256の場合、WfrアルゴリズムはBSDM_qを上回る性能を発揮する。これは、より長い平均シフトにより比較回数が削減されるためである。
• 単一で適切に設計されたハッシュ関数の使用により、最小限のオーバーヘッドで高速な要因認識が可能となり、アルゴリズムはシンプルかつ非常に効果的である。