[論文レビュー] A Fast Generic Sequence Matching Algorithm

David R. Musser, Gor V. Nishanov|ArXiv.org|Oct 1, 2008

Algorithms and Data Compression参考文献 17被引用数 8

ひとこと要約

この論文では、ハッシュコード化されたスキップループを統合することで、Knuth-Morris-Pratt (KMP) アルゴリズムの最悪ケース効率と Boyer-Moore アルゴリズムの平均ケース性能を組み合わせた高速で汎用的なシーケンスマッチングアルゴリズムを提示する。アルゴリズムは最悪ケースで線形時間計算量を達成し、最大で2n回の比較で済み、平均ケースでは線形未満の動作を示し、DNA や Unicode シーケンスを含む多様なシナリオで従来の Boyer-Moore 変種を上回る性能を発揮する。また、STL などの汎用 C++ ライブラリへの統合にも適している。

ABSTRACT

A string matching -- and more generally, sequence matching -- algorithm is presented that has a linear worst-case computing time bound, a low worst-case bound on the number of comparisons (2n), and sublinear average-case behavior that is better than that of the fastest versions of the Boyer-Moore algorithm. The algorithm retains its efficiency advantages in a wide variety of sequence matching problems of practical interest, including traditional string matching; large-alphabet problems (as in Unicode strings); and small-alphabet, long-pattern problems (as in DNA searches). Since it is expressed as a generic algorithm for searching in sequences over an arbitrary type T, it is well suited for use in generic software libraries such as the C++ Standard Template Library. The algorithm was obtained by adding to the Knuth-Morris-Pratt algorithm one of the pattern-shifting techniques from the Boyer-Moore algorithm, with provision for use of hashing in this technique. In situations in which a hash function or random access to the sequences is not available, the algorithm falls back to an optimized version of the Knuth-Morris-Pratt algorithm.

研究の動機と目的

• 最悪ケース時間計算量が最適であり、平均ケース性能が向上したシーケンスマッチングアルゴリズムの開発。
• DNA などの小アルファベット・ロングパターン問題や Unicode などの大アルファベット環境において、既存アルゴリズムの限界を克服すること。
• STL などの C++ スタンダードライブラリに統合可能な汎用アルゴリズムを設計し、任意のシーケンス型をサポートすること。
• KMP の頑健性と新規のハッシュ最適化スキップ機構を組み合わせることで、多様な入力タイプにわたる効率のバランスを取ること。
• ランダムアクセスやハッシュ化が利用できない状況では最適化された KMP にフォールバックし、一貫したパフォーマンスを確保すること。

提案手法

• アルゴリズムは、加速化された Boyer-Moore (ABM) アルゴリズムにインspiredされたスキップループを組み込んだ Knuth-Morris-Pratt (KMP) アルゴリズムの拡張である。
• 不一致発生後にどれだけパターンをシフトするかを効率的に決定するために、ハッシュコード化されたスキップ技術を用いる。これにより、平均ケースでの比較回数が削減される。
• ハッシュ化やランダムアクセスが利用できない場合には、標準的な KMP 変種にフォールバックする。これにより、最悪ケースの保証が維持される。
• 任意のシーケンス型 T をサポートする汎用テンプレートとして実装されており、C++ スタンダード・テンプレート・ライブラリ (STL) や同様の汎用ライブラリへの統合が可能である。
• 不一致回復に KMP に類似した「next テーブル」を用い、高速なパターンシフトには文字の頻度とハッシュ化を用いて計算された「スキップテーブル」を活用する。
• 複数のバリエーションをサポート：ハッシュ化による高速スキップ、ハッシュ化なし、および純粋な KMP フォールバック。利用可能な操作に応じて選択可能である。

実験結果

リサーチクエスチョン

• RQ1 最悪ケース時間計算量が O(n) でありながら、平均ケースで線形未満の性能を達成できる汎用シーケンスマッチングアルゴリズムを設計できるか？
• RQ2 DNA シーケンスマッチングのような小アルファベット・ロングパターン問題において、Boyer-Moore スタイルのスキップループの効率をどのように維持できるか？
• RQ3 ハッシュコード化されたスキップ機構は、Unicode テキスト処理のような大アルファベット環境でのパフォーマンス向上に寄与できるか？
• RQ4 KMP ベースのアルゴリズムにスキップループを統合する際の、初期化コストと平均ケース速度のトレードオフは何か？
• RQ5 このようなアルゴリズムを、C++ テンプレートで任意のシーケンス型をサポートする汎用的に実装する方法は何か？

主な発見

• アルゴリズムは最悪ケースで最大2n回の比較を達成し、KMP と同等の保証を提供する。これにより、予測可能なパフォーマンスが確保される。
• 平均ケースの英語テキスト検索において、TBM や LC といった最も高速な既存の Boyer-Moore 変種を上回る性能を示す。これは最適化されたスキップ論理のおかげである。
• ハッシュコード化されたスキップループにより、従来の Boyer-Moore スキップテーブルがメモリを食いすぎる大アルファベット環境（例：Unicode）でも効率的なパフォーマンスが実現される。
• DNA マッチングのようなロングパターン・小アルファベット問題では、標準的な Boyer-Moore 変種が示すパフォーマンス劣化を回避する。
• ハッシュ化やランダムアクセスが利用できない場合には、最適化された KMP 変種に劣化し、最悪ケース効率を維持する。
• ベンチマークにより、単語検索、大規模テキスト、および汎用 C++ コンテキストにおけるシーケンスマッチングなど、多様なワークロードで優れたパフォーマンスが確認された。