[論文レビュー] Efficient Pattern Matching on Binary Strings

Simone Faro, Thierry Lecroq|ArXiv.org|Oct 14, 2008

Algorithms and Data Compression参考文献 10被引用数 12

ひとこと要約

本論文では、ビット演算を回避してバイト単位でデータを処理する2つの効率的なアルゴリズム—Binary-Skip-Search および Binary-Hash-Matching—を提示する。両アルゴリズムとも、従来の手法を上回る性能を発揮し、均一な文字分布下では Binary-Boyer-Moore より最大10倍速く、Binary-Naive より最大100倍速い。一方、非均一なケースでは Binary-Hash-Matching が Boyer-Moore より50%以上のテキスト検査回数を削減する。

ABSTRACT

The binary string matching problem consists in finding all the occurrences of a pattern in a text where both strings are built on a binary alphabet. This is an interesting problem in computer science, since binary data are omnipresent in telecom and computer network applications. Moreover the problem finds applications also in the field of image processing and in pattern matching on compressed texts. Recently it has been shown that adaptations of classical exact string matching algorithms are not very efficient on binary data. In this paper we present two efficient algorithms for the problem adapted to completely avoid any reference to bits allowing to process pattern and text byte by byte. Experimental results show that the new algorithms outperform existing solutions in most cases.

研究の動機と目的

• バイナリデータに古典的手法を適用した場合、ビットレベルの操作が性能を著しく低下させるという非効率性に対処すること。
• ビット操作を回避し、バイトまたはワード単位でバイナリ文字列を処理するアルゴリズムを設計すること。
• ネットワークプロトコル、画像処理、圧縮テキストなど、実世界のバイナリデータ処理アプリケーションにおいて、優れた実用的性能を達成すること。
• バイナリデータのさまざまな分布パターン下で、新規アルゴリズムと既存ソリューションを評価・比較すること。
• ブロックベース処理が、正しさや最悪計算量のオーダーを損なわずに、顕著な高速化を実現できることを示すこと。

提案手法

• 個々のビットアクセスを回避するため、8ビットのブロック（バイト）を直接処理することで、q-Hash アルゴリズムをバイナリ文字列に適応化する。
• バイトアラインドのパターンマッチングを活用し、1回の比較で複数バイトをスキップする新しい Binary-Skip-Search アルゴリズムを設計する。
• 各バイトを1つの単位として扱うブロックベースモデルを採用し、効率的な比較およびシフト操作を可能にする。
• Binary-Skip-Search において、事前計算されたシフト値を格納するルックアップテーブルを活用し、文字検査回数を最小限に抑える。
• Binary-Hash-Matching において、バイトサイズのチャンクにわたるハッシュ関数を統合し、不一致位置の高速なフィルタリングを実現する。
• 両アルゴリズムを実装するにあたり、ビットレベルの操作を一切回避し、効率性を最大化するため、バイトまたはワードレベルの処理に集中する。

実験結果

リサーチクエスチョン

• RQ1 ビットレベルの操作を回避することで、古典的手法をバイナリデータに著しく最適化できるか？
• RQ2 バイナリ文字列照合において、バイトレベル処理はビットレベル処理と比べて性能でどのように差がでるか？
• RQ3 文字分布（均一 vs. 非均一）がバイナリ文字列照合アルゴリズムの性能に与える影響は何か？
• RQ4 ブロックベースのアルゴリズムは、実用的状況下で、高速かつ低検査回数を両立できるか？
• RQ5 Binary-Boyer-Moore や Binary-Naive などの既存の変種と比較して、提案手法の実行時間およびテキスト検査回数はどのように差がでるか？

主な発見

• 均一な文字分布下では、Binary-Skip-Search は Binary-Boyer-Moore より最大10倍速く、Binary-Naive より最大100倍速い。
• 特に長いパターンに対しては、Binary-Skip-Search は Binary-Boyer-Moore が要するテキスト文字検査回数の50%未満で処理を完了する。
• 非均一な分布下では、Binary-Hash-Matching は Binary-Boyer-Moore が行う検査回数の50%未満にまで削減される。
• 非均一なケースでは、Binary-Hash-Matching は Binary-Boyer-Moore より少なくとも2倍の高速化を達成し、一貫した性能向上を示す。
• 両アルゴリズムとも、テストされたすべての状況で既存手法を上回る性能を発揮し、均一分布下では Binary-Skip-Search が優れた性能を示し、非均一分布下では Binary-Hash-Matching が優位である。
• 実験結果から、ビット操作を伴わないバイトレベル処理が、すべてのテスト条件下で優れた実用的性能を発揮することが確認された。