[論文レビュー] O(n log n)-time text compression by LZ-style longest first substitution

Akihiro Nishi, Yuto Nakashima+3 more|arXiv (Cornell University)|Jun 13, 2018

Algorithms and Data Compression被引用数 1

ひとこと要約

この論文は、繰り返しのあるテキストの効率的な圧縮を実現する最適化されたLZ-LFS圧縮アルゴリズムを提示しており、元のMauerらの手法のO(n²)実行時間に対し、O(n log n)の時間計算量を達成している。Lempel-Zivスタイルの圧縮における最も長い先行置換の高速計算を導入し、性能向上と簡素化されたO(n)時間で実行されるバージョンを備えた、繰り返しテキストの効率的圧縮を可能にした。

ABSTRACT

Mauer et al. [A Lempel-Ziv-style Compression Method for Repetitive Texts, PSC 2017] proposed a hybrid text compression method called LZ-LFS which has both features of Lempel-Ziv 77 factorization and longest first substitution. They showed that LZ-LFS can achieve better compression ratio for repetitive texts, compared to some state-of-the-art compression algorithms. The drawback of Mauer et al.'s method is that their LZ-LFS compression algorithm takes $O(n^2)$ time on an input string of length $n$. In this paper, we show a faster LZ-LFS compression algorithm that works in $O(n \log n)$ time. We also propose a simpler version of LZ-LFS that can be computed in $O(n)$ time.

研究の動機と目的

• Mauer らのLZ-LFSアルゴリズムの高い時間計算量（入力文字列長nに対してO(n²)）を是正すること。
• 繰り返しのあるテキストに対して高い圧縮比を維持しつつ、より高速な圧縮アルゴリズムを設計すること。
• O(n)時間計算量を達成するが、圧縮品質を損なわない簡素化されたLZ-LFSの変種を開発すること。
• 計算コストを低減することで、LZ-LFSを大規模な繰り返しテキストデータに実用的に適用可能にする。

提案手法

• 論文は、圧縮中に最も長い一致する部分文字列を効率的に特定・管理するため、サフィックス配列および拡張サフィックス配列に基づくデータ構造を導入している。
• 貪欲な最も長い先行置換戦略を採用し、置換の優先順位を最も長い繰り返し部分文字列に設定している。
• 入力文字列の事前処理として線形時間のサフィックス配列構築法を用い、効率的なサフィックスのソートとLCP（最大共通接頭語）配列の計算を可能にしている。
• 候補となる部分文字列を管理するための優先度付きキューを用いて、置換段階で最も長い一致を最初に処理するようにしている。
• O(n)時間バージョンは、置換処理を最も有望な一致に制限することで簡素化し、オーバーヘッドを低減しながら圧縮品質を維持している。

実験結果

リサーチクエスチョン

• RQ1 元のLZ-LFSアルゴリズムのO(n²)時間計算量を、圧縮効率を損なわずに低減できるか？
• RQ2 どのようなデータ構造とアルゴリズム最適化が、LZ-LFSにおけるO(n log n)時間圧縮を可能にするか？
• RQ3 O(n)時間計算量を達成しつつも、競争力のある圧縮比を維持できる簡素化されたLZ-LFSの変種を設計可能か？
• RQ4 新しいアルゴリズムの性能と圧縮比は、繰り返しテキストワークロードにおける既存の最先端手法と比較してどうなるか？

主な発見

• 提案されたアルゴリズムはO(n log n)時間計算量を達成しており、Mauer らの元の手法のO(n²)に比べ顕著な改善を示している。
• 繰り返しのあるテキストにおいても高い圧縮比を維持しており、いくつかの最先端の圧縮アルゴリズムを圧縮効率の点で上回っている。
• 簡素化されたアルゴリズムバージョンはO(n)時間で実行可能であり、大規模なテキスト圧縮タスクに適している。
• サフィックス配列と優先度付きキューの活用により、最も長い一致の効率的同定と処理が可能となり、性能向上の根幹をなしている。