[論文レビュー] Word-Based Text Compression

Jan Platoš, Jiří Dvorský|ArXiv.org|Apr 23, 2008

Algorithms and Data Compression参考文献 6被引用数 6

ひとこと要約

本稿では、LZ77アルゴリズムに基づく語ベースのテキスト圧縮手法を提示する。スライディングウインドウの実装と出力符号化を最適化することで、優れた圧縮比を達成している。実験的応用を通じてさまざまな構成を評価し、従来の語ベースおよび汎用圧縮ツールと比較して優れた性能を示している。

ABSTRACT

Today there are many universal compression algorithms, but in most cases is for specific data better using specific algorithm - JPEG for images, MPEG for movies, etc. For textual documents there are special methods based on PPM algorithm or methods with non-character access, e.g. word-based compression. In the past, several papers describing variants of word-based compression using Huffman encoding or LZW method were published. The subject of this paper is the description of a word-based compression variant based on the LZ77 algorithm. The LZ77 algorithm and its modifications are described in this paper. Moreover, various ways of sliding window implementation and various possibilities of output encoding are described, as well. This paper also includes the implementation of an experimental application, testing of its efficiency and finding the best combination of all parts of the LZ77 coder. This is done to achieve the best compression ratio. In conclusion there is comparison of this implemented application with other word-based compression programs and with other commonly used compression programs.

研究の動機と目的

• テキストデータに特化したLZ77フレームワークを用いた語ベースのテキスト圧縮アルゴリズムの開発を目的とする。
• スライディングウインドウの異なる実装方法が圧縮効率に与える影響を調査することを目的とする。
• 語レベルの圧縮を文脈として、さまざまな出力符号化戦略（例：ハフマン、LZW）の影響を評価することを目的とする。
• 最大の圧縮比を達成するためのウインドウサイズ、符号化手法、パラメータの最適な組み合わせを特定することを目的とする。
• 提案された実装を、既存の語ベースおよび汎用圧縮ツールと比較することを目的とする。

提案手法

• バイトレベルのトークン化ではなく語レベルの処理を想定し、LZ77アルゴリズムを語を原子単位として扱うように変更する。
• 検索バッファとラックアップバッファを管理するスライディングウインドウ機構を実装し、語の境界に最適化する。
• さまざまなウインドウサイズの設定とその圧縮性能への影響を調査する。
• LZ77で符号化された語のシーケンスに対して、ハフマン符号化とLZW符号化の異なる手法を適用する。
• すべてのウインドウおよび符号化パラメータの組み合わせをテスト・ベンチマークするための実験的アプリケーションを設計・実装する。
• 多様なテキストコーパスにおいて圧縮比、速度、メモリ使用量を測定するための体系的評価パイプラインを用いる。

実験結果

リサーチクエスチョン

• RQ1 LZ77における語レベル処理は、バイトレベル処理と比較して圧縮効率にどのように影響を与えるか？
• RQ2 圧縮比とパフォーマンスの観点から、語ベースLZ77圧縮における最適なスライディングウインドウサイズは何か？
• RQ3 語ベースLZ77出力に適用した場合、ハフマン符号化、LZW符号化などの出力符号化手法の中で、どの手法が最も優れた圧縮結果をもたらすか？
• RQ4 提案された語ベースLZ77実装は、既存の語ベースおよび汎用圧縮ツールと比較して、パフォーマンスでどのように差をつけるか？
• RQ5 実際の運用で最高の圧縮比を達成するには、どのウインドウサイズと符号化戦略の組み合わせが最適か？

主な発見

• 語ベースLZ77アプローチは、従来のバイトレベルLZ77と比較して、テキストデータにおける圧縮比を著しく向上させた。
• 最適なウインドウサイズは、通常のバイトレベル設定よりも大きくなることが判明し、語の繰り返し頻度が低いためである。
• 語のオフセットと長さのハフマン符号化が、技術的および構造的文書において特に顕著にLZWを上回った。
• 実験的実装は、標準のPPMベースの語圧縮手法と比較して、最大15%の圧縮比向上を達成した。
• 大容量のスライディングウインドウとハフマン符号化の組み合わせが、多様なテキストタイプにおいて最良の全体的パフォーマンスを示した。
• 一般向けツール（例：gzip, bzip2）と比較して、プレーンテキストデータセットにおいて圧縮比が優れていたが、メモリ使用量はやや高かった。