[論文レビュー] Linear time construction of compressed text indices in compact space

Djamal Belazzougui|arXiv (Cornell University)|Jan 5, 2014

Algorithms and Data Compression参考文献 21被引用数 10

ひとこと要約

本稿では、O(n log σ) ビットの記憶領域で、元のテキストと同一の空間計算量を達成する、圧縮サフィックス配列(CSA)および圧縮サフィックス木(CST)を構築する確率的線形時間アルゴリズムを提示する。新しいスタックベースのサフィックス配列区間列挙技術を導入し、バーラウジ・ウィルスキー変換(BWT)の構築を最適化することで、O(n)の時間計算量を達成し、従来のO(n log log σ)およびO(n log^ε n)の境界を著しく改善した。

ABSTRACT

We show that the compressed suffix array and the compressed suffix tree for a string of length $n$ over an integer alphabet of size $σ\leq n$ can both be built in $O(n)$ (randomized) time using only $O(n\logσ)$ bits of working space. The previously fastest construction algorithms that used $O(n\logσ)$ bits of space took times $O(n\log\logσ)$ and $O(n\log^εn)$ respectively (where $ε$ is any positive constant smaller than $1$). In the passing, we show that the Burrows-Wheeler transform of a string of length $n$ over an alphabet of size $σ$ can be built in deterministic $O(n)$ time and space $O(n\logσ)$. We also show that within the same time and space, we can carry many sequence analysis tasks and construct some variants of the compressed suffix array and compressed suffix tree.

研究の動機と目的

• コンパクトな記憶領域制約下での圧縮サフィックス配列および木の構築における性能ボトルネックを解消すること。
• O(n log log σ)およびO(n log^ε n)の構築時間からO(n)に短縮し、O(n log σ)ビットの記憶領域を維持すること。
• 同じ時間および記憶領域制約下で効率的なシーケンス解析タスクを可能にすること。
• O(n log σ)ビットの記憶領域で、決定的O(n)時間でBWTを構築すること。
• O(n)時間で効率的に構築可能な、FMインデックスおよびCSTの高度な変種をサポートすること。

提案手法

• 従来のキューおよびビットベクトルベースの手法に代わり、サフィックス配列区間のスタックベースの列挙技術を導入し、記憶領域使用量を削減する。
• 先行研究の双方向BWT構築法を応用し、各マージステップを線形時間で実行するように最適化する。
• ハッシュ法を用いてサフィックス木のトポロジーで定数時間の操作を実現し、ハッシュテーブルの使用にもかかわらず確率的O(n)時間での構築を可能にする。
• FMインデックスおよび双方向BWTを活用し、効率的なウィーナーリンクのシミュレーションと区間列挙を実現する。
• BWT構築と組み合わせ、双方向操作を用いて並べ替えられたLCP配列を構築する新しい手法を導入する。
• 子ノードおよび文字列レベルの祖先クエリをO(log^ε n)時間でサポートするため、CSTに補助データ構造を追加する。

実験結果

リサーチクエスチョン

• RQ1 O(n log σ)ビットの記憶領域で、圧縮サフィックス配列および木をO(n)時間で構築可能か？
• RQ2 O(n)時間およびO(n log σ)ビットの記憶領域で、BWTを決定的に計算可能か？
• RQ3 サフィックス配列区間の列挙が十分に効率的に行えるか、これにより圧縮インデックスの線形時間構築が可能か？
• RQ4 定数時間でのウィーナーリンクをサポートするような、FMインデックスの高度な変種を確率的線形時間で構築可能か？
• RQ5 サフィックス木のノード列挙に依存するシーケンス解析問題が、コンパクトな記憶領域下で確率的O(n)時間で解けるか？

主な発見

• 圧縮サフィックス配列および圧縮サフィックス木は、O(n log σ)ビットの作業記憶領域で、確率的O(n)時間で構築可能である。
• BWTは、決定的O(n)時間およびO(n log σ)ビットの記憶領域で構築可能である。
• 新規のスタックベースの区間列挙技術により、記憶領域使用量が削減され、CSTの部品の線形時間構築が可能になった。
• 並べ替えられたLCP配列は、双方向BWT操作を用いて効率的に構築可能である。
• ウィーナーリンクを定数時間でサポートするような、高度なFMインデックスの変種も、確率的線形時間で構築可能である。
• 最大繰り返し部分列の特定や正確な一致の検出といった、多くのシーケンス解析問題が、O(n log σ)ビットの記憶領域内で確率的O(n)時間で解けるようになった。