[論文レビュー] Self-Index Based on LZ77

Sebastian Kreft, Gonzalo Navarro|arXiv (Cornell University)|Jan 21, 2011

Algorithms and Data Compression参考文献 56被引用数 6

ひとこと要約

この論文は、ゲノムデータベース、ソフトウェアリポジトリ、バージョン管理ドキュメントなどの極めて繰り返しの多いテキストコレクションを対象として、Lempel-Ziv 1977 (LZ77) 圧縮形式に基づく最初の実用的自己索引を提示する。圧縮済みテキストの2.6〜4.0倍のメモリ使用量で、RLCSAという既存の最高性能の自己索引よりも最大6.6倍のメモリ効率を達成し、1秒間に100万〜200万文字の高速ランダムアクセスおよび1回の照会あたり10〜50マイクロ秒の高速パターン検索を実現する。

ABSTRACT

We introduce the first self-index based on the Lempel-Ziv 1977 compression format (LZ77). It is particularly competitive for highly repetitive text collections such as sequence databases of genomes of related species, software repositories, versioned document collections, and temporal text databases. Such collections are extremely compressible but classical self-indexes fail to capture that source of compressibility. Our self-index takes in practice a few times the space of the text compressed with LZ77 (as little as 2.6 times), extracts 1--2 million characters of the text per second, and finds patterns at a rate of 10--50 microseconds per occurrence. It is smaller (up to one half) than the best current self-index for repetitive collections, and faster in many cases.

研究の動機と目的

• ゲノムデータベース、ソフトウェアリポジトリ、バージョン管理ドキュメントなどの極めて繰り返しの多いテキストコレクションにおける繰り返しの特徴を効果的に捉えることができない既存の自己索引の限界を解消すること。
• 現在の自己索引が十分に活用できない、LZ77のk階エントロピーおよびランレングスモデルを上回る圧縮性を活用する自己索引の設計。
• 元のテキストを平文形式で保持する必要がないという、従来のLZ77ベース索引手法における主要な障壁を克服すること。
• 実用的な性能を実現するため、メモリ使用量、構築時間、クエリ速度の面でバランスを取ること。

提案手法

• ランダムアクセスの効率化とメモリオーバーヘッドの低減を実現しながらも圧縮効率を維持するため、LZ77パースの変種であるLZ-Endを用いる。
• 後ろ向き接尾辞配列（suffix array）および逆接尾辞配列（reverse suffix array）データ構造を用い、圧縮表現を拡張することで、高速なパターン位置特定およびテキスト抽出を実現する。
• 暗黙のID配列および明示的ID配列、およびそれらの逆配列を用いた二分探索により、テキスト内の位置への対数時間オーダーのアクセスを維持しながらメモリ使用量を削減する。
• 配列内の直前のより小さい要素を効率的に特定する「prevLess」演算を処理する新しい圧縮データ構造を導入し、メモリ使用量と実行時間の両方の効率を向上させる。
• LZ77およびLZ-Endパースを両方サポートし、5つのメモリ使用量と実行速度のトレードオフをとったバリアントを提供する。
• 構築には、圧縮接尾辞配列およびFM-インデックスで用いられる圧縮データ構造と技術を、LZ77パースモデルに適応して利用する。

実験結果

リサーチクエスチョン

• RQ1 元のテキストを平文形式で保持せず、LZ77圧縮済みテキストに直接自己索引を構築できるか。また、高速なランダムアクセスおよびパターンマッチングが可能か？
• RQ2 繰り返しの多いコレクションにおいて、LZ77ベース自己索引のメモリ使用量は、最先端のRLCSAインデックスと比べてどの程度か？
• RQ3 実世界の繰り返しの多いデータにおいて、抽出および検索速度の両面で高い圧縮性と高い性能を達成できるか？
• RQ4 最もメモリ効率の良いインデックス構成は何か。また、それらは構築時間およびクエリ時間とどのようにトレードオフするか？

主な発見

• 提案されたLZ77自己索引は、|LZ|がLZ77圧縮済みテキストのサイズである場合、最大で2|LZ| + o(|LZ|)ビットのメモリ使用量で収まる。
• 最もメモリ効率の良いバリアントは、p7zipで圧縮されたLZ77出力サイズの2.5〜4.0倍にとどまり、512サンプリングのRLCSAと比較して最大6.6倍のメモリ効率を達成する。
• Einsteinコレクションでは、インデックスは元のテキストサイズの0.18%（LZ-End 5）を占めるが、RLCSA 512は1.20%を占めるため、極めて繰り返しの多いデータにおいて優れた圧縮性能を示す。
• 抽出性能は1秒間に100万〜200万文字に達し、多くの場合RLCSAを上回る。パターン位置特定には1回の照会あたり10〜50マイクロ秒を要する。
• 特にインデックスが小さい場合、パターン位置特定においてRLCSAよりも高速であり、最小サンプリングでも高い性能を維持する。
• 「prevLess」データ構造の設計および暗黙のID配列の使用は、メモリ効率に寄与しており、他の圧縮データ構造への応用も可能性を秘めている。