[論文レビュー] Tying up the loose ends in fully LZW-compressed pattern matching

Paweł Gawrychowski|arXiv (Cornell University)|Sep 19, 2011

Algorithms and Data Compression被引用数 19

ひとこと要約

本稿では、テキストおよびパターンの両方がLempel-Ziv-Welch (LZW)法で圧縮されている完全なLZW圧縮パターンマッチングに対する最適な線形時間アルゴリズムを初めて提示する。ブロックカバー、反復的圧縮、およびコードワードトリー上の接頭辞木を用いたPREF関数の新規応用を活用することで、時間計算量O(n + m)を達成し、従来のO((n + m) log(n + m))解法に比べ顕著な改善をもたらし、長年の未解決問題を解消する。

ABSTRACT

We consider a natural generalization of the classical pattern matching problem: given compressed representations of a pattern p[1..M] and a text t[1..N] of sizes m and n, respectively, does p occur in t? We develop an optimal linear time solution for the case when both p and t are compressed using the LZW method. This improves the previously known O((n+m)log(n+m)) time solution of Gasieniec and Rytter, and essentially closes the line of research devoted to studying LZW-compressed exact pattern matching.

研究の動機と目的

• LZW圧縮された文字列に対する完全な圧縮パターンマッチング問題を最適な線形時間O(n + m)で解くこと。
• 従来知られていたO((n + m) log(n + m))解法と理論的下界O(n + m)との差を埋めること。
• パターンやテキストを分解してからではなく、圧縮形式のままパターン出現を効率的に検出できる手法を開発すること。
• 先行研究で得られたO(n + M)線形時間アルゴリズムを、テキストとパターンの両方が圧縮されている完全な圧縮ケースに拡張すること。

提案手法

• アルゴリズムは、ブロックカバーデータ構造を用いて、パターンの断片をLZWコードワードの接頭辞として表現することで、完全な分解なしに効率的な操作を可能にする。
• 隣接するブロックがより長いコードワードの接頭辞として現れる場合に、それらをマージすることで反復的圧縮を適用し、構造的複雑性を低減する。
• PREF関数を用いて、圧縮形式のままパターン断片とテキスト断片間の最長共通接頭辞を計算し、定数時間アクセスを可能にするレベル祖先データ構造を活用する。
• コードワードトリー上に接頭辞木を構築することで、任意の2つのコードワード間の最長共通接頭辞クエリを定数時間で行えるようにし、LCAクエリを用いる。
• パターン位置をカバーする現在のブロックへのポインタを動的に維持し、スキャン中に定数時間で更新することで、効率的なパターンマッチングを実現する。
• 周期的パターンの場合は、先行研究のO(n + M)アルゴリズムの修正版を用い、分解を避けながら圧縮構造を効果的に処理する追加技術を導入する。

実験結果

リサーチクエスチョン

• RQ1 完全なLZW圧縮パターンマッチングは、nとmがテキストおよびパターンの圧縮サイズであるとして、線形時間O(n + m)で解けるか？
• RQ2 パターンやテキストを分解せずとも、圧縮形式のままパターン出現を検出することは可能か？
• RQ3 LZW圧縮文字列のどのような構造的性質が、パターンマッチングにおける最適時間計算量を達成するために利用可能か？
• RQ4 PREF関数は、ブロックカバーとして表現された圧縮パターン断片にどのように効率的に適応できるか？
• RQ5 GąsieniecとRytterによるO((n + m) log(n + m))解法を、新しいデータ構造および圧縮技術を用いて最適なO(n + m)時間に改善可能か？

主な発見

• 本稿では、テキストおよびパターンの圧縮サイズがnとmであるとして、完全なLZW圧縮パターンマッチングに対する最初の最適なO(n + m)時間アルゴリズムを提示する。
• アルゴリズムは、ブロックカバー表現を用いて、パターン断片をLZWコードワードの接頭辞として維持することで、効率的かつ圧縮された形でのパターンマッチングを実現する。
• コードワードトリー上に接頭辞木を構築することで、任意の2つのコードワード間の最長共通接頭辞クエリを定数時間で行えるようになり、線形時間性能を達成する上で不可欠である。
• PREF関数と反復的圧縮を組み合わせることで、アルゴリズムは1回のスキャンでパターン全体にわたる潜在的マッチを検証できる。
• 周期的パターンの場合は、先行研究のO(n + M)アルゴリズムの修正版を適用し、圧縮サイズに比例する線形時間の維持を図る。
• 本ソリューションは最適であり、LZW圧縮下での完全な圧縮パターンマッチングの線形時間解法を達成するという長年の未解決問題を解決する。