[論文レビュー] Fast Longest Common Extensions in Small Space

Alberto Policriti, Nicola Prezza|arXiv (Cornell University)|Jul 22, 2016

Algorithms and Data Compression参考文献 10被引用数 3

ひとこと要約

本稿では、メルセンヌ素数および一般の素数を用いたカープ・ラビン指紋法を用いて、長さ共通接頭辞（LCE）問題のための2つの新しい空間効率の良いデータ構造を提示する。最初の構造は、ちょうどテキストサイズに相当する $n\lceil\log_2\sigma\rceil$ ビットのみを用い、高確率で $\mathcal{O}(\log \ell)$ 時間のLCEクエリをサポートし、最適な空間内での部分線形クエリ時間実現を達成する。両構造とも高速な部分文字列抽出を可能とし、$\mathcal{O}(n)$ 時間で構築される。

ABSTRACT

In this paper we address the longest common extension (LCE) problem: to compute the length $\ell$ of the longest common prefix between any two suffixes of $T\in Σ^n$ with $ Σ= \{0, \ldots σ-1\} $. We present two fast and space-efficient solutions based on (Karp-Rabin) extit{fingerprinting} and extit{sampling}. Our first data structure exploits properties of Mersenne prime numbers when used as moduli of the Karp-Rabin hash function and takes $n\lceil \log_2σ ceil$ bits of space. Our second structure works with any prime modulus and takes $n\lceil \log_2σ ceil + n/w + w\log_2 n$ bits of space ($ w $ memory-word size). Both structures support $\mathcal O\left(m\logσ/w ight)$-time extraction of any length-$m$ text substring, $\mathcal O(\log\ell)$-time LCE queries with high probability, and can be built in optimal $\mathcal O(n)$ time. In the first case, ours is the first result showing that it is possible to answer LCE queries in $o(n)$ time while using only $\mathcal O(1)$ words on top of the space required to store the text. Our results improve the state of the art in space usage, query times, and preprocessing times and are extremely practical: we present a C++ implementation that is very fast and space-efficient in practice.

研究の動機と目的

• 元のテキストと同じ空間のみを用いながら部分線形クエリ時間を達成できるLCE問題のためのデータ構造の設計。
• カープ・ラビン指紋法におけるメルセンヌ素数の性質を活用し、最適な空間使用量と高速なクエリパフォーマンスを実現すること。
• 空間使用量をわずかに増加させるにとどめ、任意の素数モジュラスに対しても、クエリ効率を損なわずに対応できるようにアプローチを拡張すること。
• 既存のモンテカルロおよび決定的LCEソリューションに比べ、空間、クエリ時間、および事前処理時間の点で改善すること。
• ヒトゲノムのような大規模テキストにおける実用的効率およびパフォーマンスを評価するため、提案構造の実装と評価を行うこと。

提案手法

• メルセンヌ素数モジュラス $q = 2^p - 1$ を用いたカープ・ラビン指紋法により、ハッシュ値の二分探索を用いて効率的な部分文字列比較およびLCE計算を実現する。
• 二分探索中の定数時間のハッシュ比較を可能とするために、$q$ を法とする $2^{2^i}$ の累乗を事前に計算し、$z_i = 2^{2^i} \mod q$ として格納する。
• 指数探索を用いて二分探索の範囲を $\mathcal{O}(n)$ から $\mathcal{O}(\ell)$ に縮小し、平均的なクエリ時間の向上を図る。
• 一般の素数モジュラスの場合、$n/w + w\log_2 n$ ビットの追加領域を追加して、最悪ケースで $\mathcal{O}(\log \ell)$ のLCEクエリと $\mathcal{O}(m\log\sigma/w)$ の部分文字列抽出をサポートする。
• 線形パスによる接頭辞指紋と必要な値のサンプリングにより、$\mathcal{O}(n)$ 時間でデータ構造を構築する。
• 事前に計算された $z_i$ 値に基づくサンプリング戦略を用い、二分探索中の部分文字列比較を定数時間で実現する。

実験結果

リサーチクエスチョン

• RQ1 テキスト以外に $\mathcal{O}(1)$ ワードの追加空間しか使わない状態で、$o(n)$ 時間でLCEクエリを答えられるか？
• RQ2 カープ・ラビン指紋法におけるメルセンヌ素数の使用が、LCEクエリの最適な空間使用量と部分線形クエリ時間の実現を可能にするか？
• RQ3 $n\lceil\log_2\sigma\rceil$ ビットの空間内に収まり、高確率で $\mathcal{O}(\log \ell)$ 時間のLCEクエリを達成することは可能か？
• RQ4 空間的または時間的オーバーヘッドを著しく増加させることなく、任意の素数モジュラスに対してもこのアプローチを一般化できるか？
• RQ5 実装された構造の実用的パフォーマンスは、既存の実装と比較して速度、メモリ使用量、および構築時間の点で優れているか？

主な発見

• 最初のデータ構造は、ちょうどテキストサイズに相当する $n\lceil\log_2\sigma\rceil$ ビットの空間のみを用い、高確率で $\mathcal{O}(\log \ell)$ 時間のLCEクエリをサポートする。これは、最適な空間内に $o(n)$ 時間のクエリを達成する最初の結果である。
• メルセンヌ素数に基づく構造のC++実装は、30億文字のヒトゲノム接頭部に対して、平均して1LCEクエリあたり710ナノ秒、1文字アクセスあたり160ナノ秒を達成し、2ビット/文字のストレージに560バイトの追加メモリのみを必要としている。
• 標準的なマシンで170秒で構築され、最適な $\mathcal{O}(n)$ 事前処理時間であることが示された。
• 2番目の構造は、$n\lceil\log_2\sigma\rceil + n/w + w\log_2 n$ ビットの空間で、最悪ケースの $\mathcal{O}(\log \ell)$ 時間のLCEクエリと $\mathcal{O}(m\log\sigma/w)$ 時間の部分文字列抽出をサポートし、空間的および時間的パフォーマンスで既存のモンテカルロソリューションを上回っている。
• LCEクエリにおいて直接メモリアクセスよりも10倍遅いが、追加メモリを極めて少なく使用しているため、実用性が裏付けられている。
• 結果から、最適な空間内に $o(n)$ 時間のLCEクエリが実現可能であり、メルセンヌ素数の使用が理論的最適性と実用的効率の両方を実現できることを示している。