[論文レビュー] Online Self-Indexed Grammar Compression

Yoshimasa Takabatake, Yasuo Tabei+1 more|arXiv (Cornell University)|Jul 3, 2015

Algorithms and Data Compression参考文献 14被引用数 5

ひとこと要約

この論文は、入力テキストを1文字ずつ処理することで段階的に圧縮インデックスを構築する、最初のオンライン自己インデックス付き文法圧縮手法OESP-indexを紹介する。これにより、メモリに全入力を保持する必要がなく、空間効率の良い構築が可能になる。空間効率は競争力があり、効率的なパターン検索とランダムアクセスをサポートし、作業メモリ使用量においてオフライン手法を上回りつつ、極めて繰り返しの多いテキストに対して実用的な性能を維持する。

ABSTRACT

Although several grammar-based self-indexes have been proposed thus far, their applicability is limited to offline settings where whole input texts are prepared, thus requiring to rebuild index structures for given additional inputs, which is often the case in the big data era. In this paper, we present the first online self-indexed grammar compression named OESP-index that can gradually build the index structure by reading input characters one-by-one. Such a property is another advantage which enables saving a working space for construction, because we do not need to store input texts in memory. We experimentally test OESP-index on the ability to build index structures and search query texts, and we show OESP-index's efficiency, especially space-efficiency for building index structures.

研究の動機と目的

• 既存の文法ベースの自己インデックスが、大規模で繰り返しの多いテキストコレクションに対してオフラインでの構築と大きな作業メモリを必要としているという制限を克服すること。
• 入力テキストを1文字ずつ処理することで、インデックスを段階的に構築し、メモリオーバーヘッドを低減すること。
• 圧縮形式での効率的なパターン検索とランダムアクセスをサポートし、変化するテキストコレクションを伴うビッグデータワークロードに適すること。
• オンライン文法圧縮が、オフライン手法と比較して競争力のある空間効率と時間効率を達成できることを示すこと。

提案手法

• OESP-indexはエディットセンシティブパーシング（ESP）に基づき、オンライン文法圧縮のためのFOLCA（完全オンラインLCA）フレームワークを活用する。
• 動的ワビューツリー（DWT）を用いて辞書と長さ配列を表現し、ランダムアクセスのための効率的なランク/セレクト演算を実現する。
• 入力ストリームから得られる文脈自由文法（CFG）の簡潔な表現を維持し、パースツリーを段階的に拡張する。
• ビットストリング上でのGMRスタイルのランク/セレクト演算と動的ワビューツリーを用いて、高速なパターン検索とカウントを実現する。
• パースの不一致の境界をESPから得た情報を用いて、パースツリーのトップダウン走査により候補となるパターン出現位置を特定する。
• 構築はオンライン：各文字が逐次処理され、全テキストをメモリに保持せずにインデックスが段階的に更新される。

実験結果

リサーチクエスチョン

• RQ1 文法ベースの自己インデックスをオンライン化し、全テキストをメモリに保持せずにストリーミング入力から段階的に構築可能か？
• RQ2 繰り返しの多いテキストに対してインデックスを構築する際、オンライン自己インデックスの空間効率はオフライン手法と比べてどうか？
• RQ3 オフライン最適化手法と比較して、オンライン構築とクエリ処理の性能オーバーヘッドはどの程度か？
• RQ4 オンライン文法圧縮は、競争力のある時間計算量を備えた効率的なパターン検索とランダムアクセスをサポートできるか？
• RQ5 動的ワビューツリーとビットストリング表現は、オンライン環境におけるメモリ使用量とクエリパフォーマンスにどのように影響を与えるか？

主な発見

• einsteinデータセットでは、OESP-indexはオフラインESP-indexが要する作業メモリの2.5%しか使用せず、顕著な空間効率を示した。
• cereデータセットでは、OESP-indexはオフラインESP-indexの作業メモリの40%を使用し、繰り返しの少ないデータでもメモリ面での優位性を確認した。
• OESP-indexのインデックスサイズはLZ-indexやFM-indexより小さいが、ESP-indexやSLP-indexよりは大きい。主なオーバーヘッドは動的ワビューツリーに起因する。
• 構築時間はオフラインESP-indexより遅く、einsteinでは57.1倍、cereでは58.1倍遅い。これはオンライン版でGMRの最適化済みワビューツリーが利用できないためである。
• クエリの場所特定時間はESP-indexより遅く、einsteinでは24.9倍、cereでは163.2倍遅いが、理論的保証を備えた実用的なパターン検索が可能である。
• パフォーマンスのトレードオフは存在するが、OESP-indexは大規模で変化する繰り返しの多いテキストコレクションのスケーラブルな処理を可能にする、最初のオンライン文法ベースの自己インデックスである。