[論文レビュー] From LZ77 to the Run-Length Encoded Burrows-Wheeler Transform, and Back

Alberto Policriti, Nicola Prezza|arXiv (Cornell University)|Feb 4, 2017

Algorithms and Data Compression参考文献 15被引用数 6

ひとこと要約

本稿では、LZ77 とランレングス符号化されたバーラウズ・ホイーラー変換（RLBWT）という2つの主要な圧縮テキスト表現の間で、空間効率の良いアルゴリズムを提示する。時間と空間の両方が圧縮サイズ $ r $ と $ z $ に比例するように実現されており、完全な復元なしに、極めて繰り返しの多いデータの効率的な操作が可能になる。

ABSTRACT

The Lempel-Ziv factorization (LZ77) and the Run-Length encoded Burrows-Wheeler Transform (RLBWT) are two important tools in text compression and indexing, being their sizes $z$ and $r$ closely related to the amount of text self-repetitiveness. In this paper we consider the problem of converting the two representations into each other within a working space proportional to the input and the output. Let $n$ be the text length. We show that $RLBWT$ can be converted to $LZ77$ in $\mathcal{O}(n\log r)$ time and $\mathcal{O}(r)$ words of working space. Conversely, we provide an algorithm to convert $LZ77$ to $RLBWT$ in $\mathcal{O}\big(n(\log r + \log z)\big)$ time and $\mathcal{O}(r+z)$ words of working space. Note that $r$ and $z$ can be \emph{constant} if the text is highly repetitive, and our algorithms can operate with (up to) \emph{exponentially} less space than naive solutions based on full decompression.

研究の動機と目的

• LZ77 と RLBWT という2つの主要な圧縮テキスト表現の間で、効率的かつ空間制限のある変換を実現すること。
• 大規模で繰り返しが多いデータセット（例：ゲノムアーカイブ）を処理する上で不可欠な、完全な復元なしに圧縮されたデータ構造上で計算を実行すること。
• 元のテキストサイズに比例するメモリを要する、単純な復元ベースの手法の限界を克服すること。
• LZ77 や RLBWT 入力を直接用いて、最適なメモリ使用量で圧縮自己インデックスを構築する基盤を提供すること。
• 作業領域を圧縮サイズ $ r $（RLBWT のラン）と $ z $（LZ77 要素）に比例させるように、変換を実現すること。

提案手法

• インクリメンタルな構築中にテキスト位置とRLBWT位置の間のマッピングを維持するために、動的データ構造 $ \mathcal{Z} $ を使用する。
• RLBWT データ構造自体を活用し、ランレングス圧縮を伴う逆BWTプロセスをシミュレートすることで、LZ77から効率的に文字を抽出する。
• ランレングスBWT構造上でLF（最後から最初）マッピングと拡張操作を適用し、逆順テキストのRLBWTを段階的に構築する。
• LZ77フレーズのソート済みリスト $ \mathcal{D} $ を使用して、文字抽出と挿入の過程での位置追跡を正しく行う。
• テキストとRLBWTの位置の整合性を保つために、マップ、代入、拡張クエリをサポートする動的構造 $ \mathcal{Z} $ を採用する。
• 逆順テキストの最終的なRLBWTを、逆ランレングスBWT構築により $ RLBWT^+(T) $、すなわち標準的なRLBWT表現に変換する。

実験結果

リサーチクエスチョン

• RQ1 RLBWT から LZ77 への変換は、圧縮表現サイズ $ r $ と $ n $ に比例する時間と空間で可能か？
• RQ2 LZ77 から RLBWT への変換は、$ \mathcal{O}(r + z) $ の作業領域のみを用い、完全な復元を避けることができるか？
• RQ3 RLBWT 構造を動的テキスト抽出器として用いて、LZ77から文字を効率的に抽出することは可能か？
• RQ4 変換アルゴリズムは、$ n $ に対してサブ線形時間、すなわち $ r + z $ に比例する時間で動作可能か？
• RQ5 動的データ構造を圧縮計算パイプラインに用いる際の理論的・実用的トレードオフは何か？

主な発見

• RLBWT から LZ77 への変換は $ \mathcal{O}(n\log r) $ 時間、$ \mathcal{O}(r) $ 単語の作業領域で実行され、出力はディスクにストリーミングされる。
• LZ77 から RLBWT への変換は $ \mathcal{O}(n(\log r + \log z)) $ 時間、$ \mathcal{O}(r + z) $ 単語の作業領域で実行される。
• $ r $ と $ z $ が小さい場合（例：極めて繰り返しの多いテキスト）、作業領域は単純な復元ベースの手法に比べて指数的に小さくなる。
• 動的データ構造を用いて、テキストとRLBWT間の位置マッピングを維持することで、構築過程での効率的な文字抽出が可能になる。
• LZ77 から RLBWT への変換は、RLBWT 構造を動的テキスト抽出器として用い、逆BWTプロセスをシミュレートすることに依存している。
• 最終的なRLBWTは、逆順テキストのRLBWTを逆転させることで構築され、同じ動的構造を用いて効率的に計算可能である。