[論文レビュー] Data Compression and Entropy Estimates by Non-sequential Recursive Pair Substitution

Peter Grassberger|ArXiv.org|Jul 5, 2002

Algorithms and Data Compression参考文献 6被引用数 17

ひとこと要約

本稿は、非逐次的再帰的ペア置換（NSRPS）が、マルコフ系列における最適なデータ圧縮および正確なエントロピー推定の基盤として機能できることを示している。繰り返し、頻度の高い文字ペアを新しい記号に置き換え、置換に効率的な符号化を適用することで、NSRPSは理論的限界に近いエントロピー推定を達成し、135 GB のテキストデータから外挿した結果、書かれた英語の真のエントロピーは約 0.8 ビット/文字に達する。

ABSTRACT

We argue that Non-sequential Recursive Pair Substitution (NSRPS) as suggested by Jiménez-Montaño and Ebeling can indeed be used as a basis for an optimal data compression algorithm. In particular, we prove for Markov sequences that NSRPS together with suitable codings of the substitutions and of the substitute series does not lead to a code length increase, in the limit of infinite sequence length. When applied to written English, NSRPS gives entropy estimates which are very close to those obtained by other methods. Using ca. 135 GB of input data from the project Gutenberg, we estimate the effective entropy to be $\approx 1.82$ bit/character. Extrapolating to infinitely long input, the true value of the entropy is estimated as $\approx 0.8$ bit/character.

研究の動機と目的

• NSRPS がマルコフ系列における最適なデータ圧縮の基盤として機能できるかどうかを検証すること。
• NSRPS が、特に英語を含む書かれた言語の真のエントロピーを推定する有効性を評価すること。
• 従来の NSRPS 実装には非効率的で一意でない符号化が用いられており、エントロピーを信頼性高く推定できないという限界を是正すること。
• 置換および置換列の一意復号可能で効率的な符号化を備えた、数学的に整合性のある NSRPS のフレームワークを提供すること。
• 無限長のシーケンスへのエントロピー推定の外挿を信頼性高く可能にし、従来の手法よりも優れた代替手段を提供すること。

提案手法

• NSRPS は、シーケンス内の最も頻度の高い重複しない文字ペアを、拡張アルファベットからの新しい記号に再帰的に置換することで、各ステップでアルファベットサイズを増加させる。
• この手法は貪欲戦略を用いる：各ステップで頻度が最も高いペアが置換され、コード長がさらに短縮されないまで繰り返される。
• 置換は効率的で一意復号可能な符号で符号化され、結果のシーケンスのコード長が追跡され、無限長の極限において長さの増加が生じないことを保証する。
• エントロピー推定のために、各置換ステップ後のシーケンスのエントロピーをペア確率を用いて計算し、得られたエントロピー推定値をべき乗則の減衰モデルにフィットさせて、無限の置換深さへの外挿を行う。
• モデル $ \hat{h}_i = h + \frac{c}{(i + i_0)^\alpha} $ を用いてエントロピー推定値をフィットさせ、真の漸近的エントロピー $ h $ への外挿を可能にする。
• 本手法は、Project Gutenberg から得た 135 GB の英語テキストを用いて検証され、無限入力長への外挿が行われた。

実験結果

リサーチクエスチョン

• RQ1 無限長シーケンスの極限において、NSRPS がマルコフ系列に対して最適な圧縮を達成できることを証明できるか？
• RQ2 無限入力長に外挿した場合、NSRPS は書かれた言語、特に英語の真のエントロピーを信頼性高く推定する手法を提供するか？
• RQ3 NSRPS のエントロピー推定値は、Lempel-Ziv や木ベースのギャンブルアルゴリズムといった他の既存手法と比較してどの程度異なるか？
• RQ4 置換の符号化に伴うオーバーヘッドコストが、圧縮方式の最適性にどの程度影響を及えるか？
• RQ5 NSRPS におけるエントロピー推定値の収束は、真の漸近的エントロピーへの外挿を信頼性高くモデル化できるか？

主な発見

• 置換および置換列を効率的に符号化した場合、NSRPS は無限長シーケンスの極限においてコード長が増加しないことから、マルコフ系列に対して最適な圧縮を達成する。
• 書かれた英語では、135 GB のテキストデータを用いて NSRPS により約 1.82 ビット/文字のエントロピー推定値が得られ、他の手法の推定値と近い。
• べき乗則フィットを用いて無限入力長に外挿した結果、書かれた英語の真のエントロピーは約 0.8 ビット/文字と推定され、信頼区間は ±0.2 ビット/文字である。
• 外挿されたエントロピー推定値は、シャノンの元々の推定値および他の最近の推定値と整合しており、一部の先行研究で提唱されたゼロエントロピーの可能性を除外する。
• 計算コストがやや高いものの、従来の手法（例：木ベースのギャンブルアルゴリズム）よりも、無限長への外挿パスが信頼性が高い。
• 本研究では、マルコフ構造が NSRPS プロセスの不動点であることが確認されたが、この不動点の吸引性は未解決のままである。