[論文レビュー] Approximate Hamming Distance in a Stream

Clifford, Raphaël, Starikovskaya, Tatiana|arXiv (Cornell University)|Sep 24, 2011

Algorithms and Data Compression参考文献 12被引用数 3

ひとこと要約

本稿では、ストリーミングアルゴリズムを提示し、パラメータ化されたパターンマッチングを定数時間で処理し、高確率で部分線形かつほぼ最適なメモリ使用量を達成する。パターンのp-周期性を活用し、算術級数を用いたバッファベースのアプローチで一致を表現することで、リアルタイムでパラメータ化された一致を効率的に追跡する。これは、ストリーミングパターンマッチングにおける従来の部分線形メモリ使用量の制限を大幅に超える重要な前進を示している。

ABSTRACT

We consider the problem of computing a (1+epsilon)-approximation of the Hamming distance between a pattern of length n and successive substrings of a stream. We first look at the one-way randomised communication complexity of this problem. We show the following: - If Alice and Bob both share the pattern and Alice has the first half of the stream and Bob the second half, then there is an O(epsilon^{-4}*log^2(n)) bit randomised one-way communication protocol. - If Alice has the pattern, Bob the first half of the stream and Charlie the second half, then there is an O(epsilon^{-2}*sqrt(n)*log(n)) bit randomised one-way communication protocol. We then go on to develop small space streaming algorithms for (1 + epsilon)-approximate Hamming distance which give worst case running time guarantees per arriving symbol. - For binary input alphabets there is an O(epsilon^{-3}*sqrt(n)*log^2(n)) space and O(epsilon^{-2}*log(n)) time streaming (1 + epsilon)-approximate Hamming distance algorithm. - For general input alphabets there is an O(epsilon^{-5}*sqrt(n)*log^4(n)) space and O(epsilon^{-4}*log^3(n)) time streaming (1 + epsilon)-approximate Hamming distance algorithm.

研究の動機と目的

• ストリーミングモデルにおいて、最小限のメモリと時間計算量でパラメータ化されたパターンマッチングを解くこと。
• 多くのストリーミングパターンマッチング問題を制限する長年のΩ(m)のメモリ障壁を克服すること。
• 正確なマッチングよりも複雑な問題において、部分線形かつほぼ最適なメモリ使用量の解決策が可能であることを示すこと。
• リアルタイムのデータストリームにおいてパラメータ化された一致を検出する実用的で効率的な手法を提供すること。

提案手法

• パターンのp-周期性を活用し、効率的な一致検出を可能にする構造的繰り返しを特定する。
• 候補となる一致位置を格納するバッファをサイズO(|ΣP| + ρ)で使用する。ここでρはp-周期、|ΣP|はパターン内の異なる記号の数を表す。
• パラメータ化されたマッチングを正確な文字列の周期性問題に変換するために、先行文字列変換を適用する。
• 一致は、個々の位置（集合Yに格納）または周期ρの算術級数（集合Aで表現）として特定される。
• 新しいストリームシンボルが到着するたびに、一致情報を段階的に維持・更新するためのローリングフィンガープrint技術を用いる。
• 特定の範囲を超えた一致が周期ρの算術級数を形成することを証明し、コンact表現を可能にする。

実験結果

リサーチクエスチョン

• RQ1 パラメータ化されたパターンマッチングは、多くの関連問題において既知のΩ(m)下界があるにもかかわらず、ストリーミングモデルで部分線形メモリで解けるか？
• RQ2 大幅にΘ(m)未満のメモリを使用しながら、ストリーミングシンボル1つあたり定数時間の処理が可能なパラメータ化マッチングは可能か？
• RQ3 パターンの構造的性質（例：p-周期性）は、ストリーミングパターンマッチングにおけるメモリと時間計算量の削減にどのように活用できるか？
• RQ4 周期的なパターンで発生する一致は、どのようにコンパクトに表現できるか？これにより、効率的な保存と更新が可能になる。

主な発見

• アルゴリズムは、高確率で到着するストリームシンボル1つあたり定数時間の処理を達成する。
• メモリ使用量は部分線形かつほぼ最適であり、バッファのサイズがO(|ΣP| + ρ)で制限され、多くの場合Θ(m)よりも著しく小さい。
• 長さ3m/2の任意のウィンドウ内での一致数はO(|ΣP|)で抑えられ、効率的な保存と表現が可能になる。
• 特定のオフセットを超えた一致が周期ρの算術級数を形成することを示し、コンパクトな表現が可能になる。
• 本手法は、ストリーミングにおけるパラメータ化マッチングのための最初の部分線形メモリ解決策を提供し、非自明なパターンマッチング問題におけるΩ(m)メモリ障壁を打ち破る。
• わずかに一部の記号しか再ラベルされない場合でも、本手法は頑健であり、さらにメモリ使用量を削減できる。