[論文レビュー] Lightweight LCP-Array Construction in Linear Time

Simon Gog, Enno Ohlebusch|arXiv (Cornell University)|Dec 20, 2010

Algorithms and Data Compression参考文献 12被引用数 4

ひとこと要約

本稿では、LCP配列を構築する2つの新しい線形時間アルゴリズムを提示する。これらのアルゴリズムは、わずか n または 2n バイトのメモリのみを追加で使用する空間効率性に優れており、キャッシュミスを最小限に抑えることで現代のメモリ階層に最適化されている。バーナウズ＝ウィーラー変換（BWT）とランク・セレクトデータ構造を活用し、必要なLCP値のみを選択的に計算することで、従来の最先端手法を上回る性能を発揮する。特に、小さなアルファベットや長いBWTラン（run）を示す大規模なテキスト、たとえばDNA配列やXMLコレクションにおいて顕著な性能向上を達成する。

ABSTRACT

The suffix tree is a very important data structure in string processing, but it suffers from a huge space consumption. In large-scale applications, compressed suffix trees (CSTs) are therefore used instead. A CST consists of three (compressed) components: the suffix array, the LCP-array, and data structures for simulating navigational operations on the suffix tree. The LCP-array stores the lengths of the longest common prefixes of lexicographically adjacent suffixes, and it can be computed in linear time. In this paper, we present new LCP-array construction algorithms that are fast and very space efficient. In practice, our algorithms outperform the currently best algorithms.

研究の動機と目的

• 既存のアルゴリズムにおける局所性の悪さと高いキャッシュミス率が原因で生じるLCP配列構築の性能ボトルネックを解消すること。
• 追加メモリとして n または 2n バイトのみを必要としながらも、線形時間の複雑性を維持する空間効率の良いアルゴリズムを開発すること。
• 現代のコンピュータアーキテクチャに適合させるために、文字比較の回数を増やす代わりにキャッシュミスを減らす戦略を採用し、特にBWTにおける良好な局所性を活かすこと。
• 長大なDNA配列や大規模なXMLドキュメントコレクションといった実世界のワークロードにおける実用的性能を向上させること。これらのデータは小さなアルファベットと長いBWTランを示す。
• BWTとサフィックス配列の構造的性質を活用することで、現在の最良手法よりも速い構築時間を達成すること。

提案手法

• LCP値が事前に計算されていないテキスト内の位置をマークするためのビット配列 b を使用し、既知のLCP値と未知のLCP値を区別する。
• n または 2n バイトのみを用いてPLCP配列（テキスト順序のlcp値）の圧縮表現を維持し、特に不可約なエントリに焦点を当てる。
• ビット配列 b にランク・セレクトデータ構造を適用し、定数時間のランククエリを可能にすることで、圧縮PLCP配列への効率的なインデックスアクセスを実現する。
• テキストからディスクにストリーミングで読み込み、左から右へ順にサフィックス配列とBWTを処理し、LCP値を段階的に計算する。
• 補題2を活用して、還元可能なLCP値を ℓ = ℓ−1 として推定することで、可能な限り文字比較の回数を減らす。
• 最終段階として、PLCP配列（テキスト順序）をランククエリを用いてLCP配列（サフィックス配列順序）に変換する変換処理を実施する。

実験結果

リサーチクエスチョン

• RQ1 追加メモリを最小限に抑えながら、実用的なLCP配列構築を著しく高速化することは可能か？
• RQ2 LCP構築において、文字比較の回数を増やす代わりにキャッシュミスを減らすことで、キャッシュ効率をどの程度向上できるか？
• RQ3 BWTの構造的性質（たとえばランの長さやアルファベットサイズ）は、LCP構築アルゴリズムの性能にどの程度影響を与えるか？
• RQ4 不可約なLCP値のみを部分的に文字比較で計算するハイブリッド手法は、フルスキャン手法を上回る性能を発揮できるか？
• RQ5 未知のLCP値をマークするビット配列にランク・セレクト構造を適用することで、大規模テキストデータにおける性能が向上するか？

主な発見

• 提案されたアルゴリズムは、追加メモリとしてわずか n または 2n バイトを用いながらも、線形時間でLCP配列を構築可能であり、従来手法と比較して大幅なメモリ使用量の削減を達成する。
• 特に長大なDNA配列（小さなアルファベット）やXMLドキュメントコレクション（長いBWTラン）といった大規模なテキストでは、現在の最良手法を常に上回る性能を発揮する。
• 性能向上は大規模な入力に対して顕著であり、テキストサイズが大きくなるほどその優位性が増す。
• キャッシュミスを減らすスマートなデータアクセスパターンにより、わずかに文字比較回数が多くなるものの、キャッシュ効率の向上によって状況に応じて最先端手法を上回る。
• 未知のLCP値をマークするビット配列にランク・セレクト構造を適用することで、圧縮PLCP配列への効率的インデックスアクセスが可能となり、必要な値のみを部分的に計算できる。
• PLCPからLCPへの最終変換は効率的で線形時間であり、ランククエリを用いてサフィックス配列順序に値を整列させる。