[論文レビュー] Improved ESP-index: a practical self-index for highly repetitive texts

Yoshimasa Takabatake, Yasuo Tabei+1 more|arXiv (Cornell University)|Apr 19, 2014

Natural Language Processing Techniques参考文献 10被引用数 9

ひとこと要約

本稿では、高頻度に繰り返されるテキスト向けに最適化された自己索引であるESP-index-Iを提案する。この手法は、ESP-indexにおける二分探索を、簡潔データ構造上の高速なrank/select操作に置き換えることで、クエリ検索の高速化を実現する。高い圧縮率を維持しつつ、ゲノムやWikipediaを含む実世界の繰り返しテキストデータセットにおいて、SLP-index、LZ-index、FM-indexを上回る速度と空間効率を達成する。

ABSTRACT

While several self-indexes for highly repetitive texts exist, developing a practical self-index applicable to real world repetitive texts remains a challenge. ESP-index is a grammar-based self-index on the notion of edit-sensitive parsing (ESP), an efficient parsing algorithm that guarantees upper bounds of parsing discrepancies between different appearances of the same subtexts in a text. Although ESP-index performs efficient top-down searches of query texts, it has a serious issue on binary searches for finding appearances of variables for a query text, which resulted in slowing down the query searches. We present an improved ESP-index (ESP-index-I) by leveraging the idea behind succinct data structures for large alphabets. While ESP-index-I keeps the same types of efficiencies as ESP-index about the top-down searches, it avoid the binary searches using fast rank/select operations. We experimentally test ESP-index-I on the ability to search query texts and extract subtexts from real world repetitive texts on a large-scale, and we show that ESP-index-I performs better that other possible approaches.

研究の動機と目的

• クエリ処理中に遅い二分探索が原因で生じるESP-indexの性能ボトルネックを解消すること。
• 大規模な繰り返しテキスト（ゲノム配列やバージョン管理済みソースコードなど）に適した実用的で文法ベースの自己索引を開発すること。
• 文法圧縮自己索引に内在する高い圧縮比を損なわず、クエリ検索の効率を向上させること。
• 従来の手法が失敗する32ビット入力制限を超える大規模な繰り返しテキストコレクションのスケーラブルな処理を可能にすること。

提案手法

• 大規模なアスキューに対して、rank/select辞書に基づく単一のビットストリングと整数配列を用いて、ESP-indexのDAG符号化を置き換える。
• O(1)時間の高速なselect操作を活用し、クエリマッチングにおける変数の出現位置を特定するための二分探索を完全に排除する。
• 効率的なトップダウン走査と部分テキスト抽出を可能にする、簡潔な表現を用いてESPパースツリーを符号化する。
• 繰り返し部分テキスト間でパースのずれが限定されるよう、編集に敏感なパース（ESP）フレームワークを統合する。
• ESPパースから導出される文脈自由文法（CFG）のコンパクト表現を用いて、メモリ使用量を最小限に抑える。
• 文法ベースの索引構造の最適化走査により、カウントおよび位置特定クエリを両方サポートする。

実験結果

リサーチクエスチョン

• RQ1 ESP-indexにおける二分探索のボトルネックを解消することで、クエリパフォーマンスが向上するか？
• RQ2 従来のDAG符号化をrank/selectベースの簡潔構造に置き換えることで、より高速なクエリ時間となるか？
• RQ3 12GBのヒトゲノムや7.8GBのWikipediaダンプのような大規模な繰り返しテキストに、改善された索引がスケーラブルに適用可能か？
• RQ4 実世界のデータにおいて、ESP-index-IはSLP-index、LZ-index、FM-indexと比較して、空間効率とクエリ速度の両面で優れているか？
• RQ5 新しい符号化手法は、極めて繰り返しの多いデータを扱う実世界の応用において実用的か？

主な発見

• 200MBのDNAおよび英語テキストにおいて、ESP-index-Iはカウントおよび位置特定クエリの実行時間を、ESP-indexと比較して1.4〜4.3倍高速化した。
• 全テスト手法の中で最も小さなメモリフットプリントを達成し、DNAテキストでは156MB、英語テキストでは165MBを記録。FM-indexの325MBおよび482MBを上回る。
• ESP-index-Iの構築時間はESP-indexと同等（約80〜95秒）であり、SLP-index（1,900秒以上）よりも顕著に高速であった。
• 12GBのヒトゲノムおよび7.8GBのWikipediaテキストにおいて、ESP-index-Iは32ビット制限を超えるデータのインデキシングと処理に成功したが、他の手法は失敗した。
• 文法ベースの自己索引の中で、ESP-index-Iは部分テキスト抽出時間において競争力があり、大規模な繰り返しデータセットではSLP-indexおよびLZ-indexを上回った。
• 12GBのゲノムでは3.8GBのインデックスサイズ、7.8GBのWikipediaでは594MBを記録し、位置情報の保存には1.5GBおよび246MBを要した。これは高い圧縮性を示している。